自制Java爬虫框架|简书用户排行榜

简书 编程之乐
转载请注明原创出处,谢谢!

前言

我们知道网络上面存在很多Python爬虫相关的文章,但是这些文章大多都比较初级,且基本这些小爬虫基本会很快死掉,网络爬虫并不局限语言,懂得其中的原理会使我们
的爬虫更加强大,经测试,针对各种类型的网站,如知乎,豆瓣,简书等等抓取规则大多只需十几行代码,优化MySQL普通单机预测可抓取百万数据/天。

简书的隐藏的优质用户不少,但是却不易被发现 ,我写了一个规则把这些 大V或小V 分类列出榜单,顺便看看自己大致的排名。
但抓取过程中多少有些失望,为抓取高质量用户,所以忽略了粉丝的抓取,虽然开始速度很快,但是马上就急速下滑,且都不算是理想中值得学习的用户。

所以一段时间后便停止爬取。
原因如下:

  1. 用户关注重复率太高
  2. 文学创作和自媒体较多
  3. 三无用户(0字,0文章,0粉丝)太多

技术细节(简略)

简单介绍下实现的细节,看不懂的可以忽略此节,直接查看榜单内容!

爬虫主要细节在于以下几点:

  1. 网页解析器
  2. URL调度器
  3. URL排重
  4. 代理池
  5. 多线程
  6. 正则(或Jsoup,xpath)
  7. IO
  8. http请求

基本都是重点,URL排重有多种方式:

  1. 内存排重(HashSet)
  2. BloomFilter布隆过滤器
  3. BDB排重

本次使用的是内存Hash排重,而对于URL调度器使用队列即可,一边往外取 ,一边解析新的html中的url并往里存即可。

框架写好之后,就开始写简书相应的规则,规则很简单,就是爬取个人主页,存入数据库,解析网页获取关注列表,爬取关注列表的主页,重复以上步骤。

统计图

粗略估算一下简书的男女性别比和粉丝的区间分布情况,总之不是本文重点。

男女性别比

性别比

大多数用户隐藏了性别,猜猜我的性别?

粉丝分布统计图

粉丝分布统计图

榜单

粉丝数Top20

博客 粉丝数 排名
刘淼 270731 1
简书播客 234057 2
江昭和 203501 3
Sir电影 182769 4
简黛玉 179400 5
简书出版 163633 6
彭小六 157310 7
小播读书 149124 8
电影聚焦 144591 9
曹恩硕 138851 10
简书大学堂 134682 11
阿里云云栖社区 134639 12
我带爸爸看世界 127936 13
白发老蘭 124082 14
无为跑者 122377 15
简宝玉 113830 16
饱醉豚 107404 17
太湖浪子 105366 18
魏童 102468 19
盖是那么美 101768 20

喜欢数Top20

博客 喜欢数 排名
彭小六 246609 1
韩大爷的杂货铺 147011 2
怀左同学 129708 3
简黛玉 129217 4
衷曲无闻 117010 5
Sir电影 102054 6
槽值 85221 7
剽悍一只猫 80438 8
安梳颜 78977 9
顾一宸 78820 10
有备而来的路人甲 77169 11
陶瓷兔子 68246 12
弘丹 66032 13
萌薇 63514 14
饱醉豚 60106 15
入江之鲸 58508 16
尹沽城 58388 17
杨小米 56303 18
无戒 54159 19
剑圣喵大师 50133 20

关注量Top20

博客 关注量 排名
临川人 12907 1
桐子树下 10618 2
阿立斯本 7744 3
陈三白 6644 4
WEFG_jakerfenG 6173 5
欣悦生化 6165 6
Athena79 5433 7
曾培然 5101 8
有领uullnn 5083 9
MasterKang 5031 10
夜伊 5017 11
Smalldeer 4049 12
首尔的夜空 3758 13
炼己丶 3638 14
猎人之路 3296 15
桃源路 3196 16
肉娃 2866 17
狮女柔心_Nicole陶 2805 18
iOS_叶先森 2774 19
唐二郎 2618 20

签约作者Top20

博客 粉丝数 排名
刘淼 270731 1
江昭和 203501 2
彭小六 157310 3
饱醉豚 107404 4
名贵的考拉熊 100894 5
简叔 100787 6
韩大爷的杂货铺 98597 7
怀左同学 96731 8
雪花如糖 89222 9
蓝胖说说 88801 10
穿着prada挤地铁 82232 11
有备而来的路人甲 82193 12
心蓝丫头 77772 13
临界冰 77404 14
盆小猪 77272 15
一笑作春风 75906 16
王佩 74574 17
铃铛子 65747 18
windy天意晚晴 59864 19
无戒 59279 20

码字狂魔

博客 总字数 排名
爱可可_爱生活 7884794 1
独步dubu 5634619 2
Sir电影 4929700 3
Sting 3818759 4
王邑尘 3566126 5
code_w 3354914 6
掘金官方 3133872 7
憨憨故事 2878125 8
军旗猎猎 2784807 9
梵尘恋爱学 2689295 10
柳志儒 2604156 11
大学声 2465774 12
冬妮娅 2453658 13
艺术与哲学 2444021 14
太保乱谈 2304497 15
小好 2242470 16
医承有道 2210030 17
易大壮 2188911 18
鸭梨山大哎 2182454 19
葡萄喃喃呓语 2064988 20

文章发表量

博客 文章发表量 排名
幸运的贝壳 3499 1
孤鸟差鱼 1926 2
Sir电影 1896 3
岛上君 1708 4
军旗猎猎 1705 5
鸭梨山大哎 1690 6
云中飘舞 1651 7
心博1 1615 8
炫彬 1603 9
淡定之龍的傳人 1587 10
独步dubu 1538 11
用心看世界_cf05 1471 12
葡萄喃喃呓语 1423 13
独望夕晖般的凄凉 1365 14
养花大全 1360 15
幻梦邪魂 1324 16
爱可可_爱生活 1313 17
留子尧 1291 18
千里千寻梦 1263 19
闲不语 1244 20

为了对大家一些指导性的建议,最后奉上一份大礼,不谢,按照粉丝数筛选出Top500的简书作者:

博客 粉丝数 喜欢数 排名
刘淼 270731 22742 1
简书播客 234057 6671 2
江昭和 203501 31803 3
Sir电影 182769 102054 4
简黛玉 179400 129217 5
简书出版 163633 22856 6
彭小六 157310 246609 7
小播读书 149124 2904 8
电影聚焦 144591 4612 9
曹恩硕 138851 6241 10
简书大学堂 134682 7956 11
阿里云云栖社区 134639 9914 12
我带爸爸看世界 127936 2101 13
白发老蘭 124082 6121 14
无为跑者 122377 9181 15
简宝玉 113830 10703 16
饱醉豚 107404 60106 17
太湖浪子 105366 21707 18
魏童 102468 2182 19
盖是那么美 101768 5697 20
慕容随风 101264 17464 21
名贵的考拉熊 100894 12057 22
简叔 100787 35396 23
韩大爷的杂货铺 98597 147011 24
冷眼观史 97322 7593 25
怀左同学 96731 129708 26
雪花如糖 89222 5862 27
蓝胖说说 88801 27730 28
萧晓四姑娘 86817 1906 29
捕手志 86384 8242 30
莫嫡Morettie 86148 2738 31
升腾的信徒 85871 7801 32
麦家陪你读书 83199 25777 33
北邮老土 82570 560 34
穿着prada挤地铁 82232 2365 35
有备而来的路人甲 82193 77169 36
心蓝丫头 77772 25443 37
临界冰 77404 8574 38
盆小猪 77272 8155 39
洋气杂货店 76113 12978 40
马虎眼 76073 2180 41
槽值 76069 85221 42
一笑作春风 75906 10232 43
义琳 75539 9477 44
王佩 74574 17019 45
西瓜甜甜99 71628 17482 46
哲学诗画 68696 2885 47
呆萌的老张看世界687 66945 4349 48
云晞 66896 13284 49
追风筝的哈桑 66177 22737 50
铃铛子 65747 34795 51
唐朝李白 64696 3624 52
山青青 64110 8913 53
柚稚妈妈 61679 15376 54
爱瑋儿 61386 8918 55
叶老巫 60812 9711 56
windy天意晚晴 59864 24028 57
无戒 59279 54159 58
Rose的肉丝儿 58748 5008 59
剽悍一只猫 58664 80438 60
philren 57865 6086 61
遇见而已 56773 3755 62
冷月花魂烘焙 55705 3801 63
顾北城i 55690 7824 64
简书 55437 40001 65
鲸北晨 55180 3804 66
上官小满 54927 5969 67
好风明月暗知心 54173 5422 68
巴塞电影 53378 10476 69
暖暖育儿家 52962 4452 70
简书交友 52053 9321 71
闻丁 51512 1012 72
白桦czh 51017 6742 73
似舞 50715 10086 74
安梳颜 50633 78977 75
味博士 50413 1174 76
Jack不是船长 50246 1138 77
逸之何春雷 49612 2802 78
顾一宸 49180 78820 79
晶晶JessieLee 49078 2847 80
我是知识的搬运工 48968 8722 81
每天前进一小步 48880 1646 82
娱乐拆穿姐 48231 1575 83
一元亦有用 48163 15860 84
大唐遗少 47313 2882 85
秋水饮马 47120 16085 86
南有南风 46858 31856 87
空间收纳大师 45926 16964 88
衷曲无闻 45923 117010 89
西小怪穿搭 45650 680 90
野芽 45233 2880 91
曹门霞客行 45164 5079 92
小万PPT 44899 19290 93
鳗言 44504 1825 94
水漾七七 44368 3132 95
甄垚 44219 2805 96
文字怪人 43981 4661 97
朱子先生 43710 12016 98
用文字诉说人生 43448 1640 99
清澈的北风 43325 3901 100
铨斋主人 43248 7913 101
ThoughtWorks中国 43230 3940 102
黄金战戈 43212 2180 103
吾之名太宰治 43124 5392 104
RainbowPeng 42706 7162 105
弘丹 42673 66032 106
林嘉梓 42259 19832 107
单老师码字 42233 996 108
孟永辉 41745 518 109
念远怀人 41644 2392 110
郑少PPT 41066 24413 111
萌薇 40845 63514 112
情路幽兰 40738 5135 113
黄焕新 40340 1396 114
张拉灯 39964 15414 115
西风漂流David 39631 16113 116
至简从心 39431 11575 117
沪江英语 39305 16907 118
田宝谈写作 38982 35218 119
诡魅 38753 7040 120
彪悍另一只猫 38697 2259 121
狮子座123 38462 2303 122
齐帆齐 38364 24276 123
沐丞 38355 35170 124
余老诗 38187 9636 125
凉亦歌 37613 10169 126
一鸣 37576 32996 127
添一抹岚 37571 10250 128
院长X大叔 37377 6200 129
孤独一刀 37210 4799 130
万事屋 36624 847 131
王殿波 36544 641 132
独钓云烟 36425 1820 133
企鹅吃喝指南 36219 11845 134
爱福窝设计 35503 545 135
小丸子的杂物集 35281 40221 136
如烟语 34695 1788 137
赵晓璃 34532 36926 138
安予萱 34407 1534 139
家具哥张林 34274 375 140
悟三分 34223 37881 141
金夕子 33772 2002 142
水中沚 33623 8959 143
帝天宇 33535 10338 144
别山举水 33467 35623 145
红雨视界 33429 8491 146
菲琴 33395 4227 147
九月飞飞1979 33272 3016 148
微风轻扬晓月寒 33237 9863 149
箬生一禾 33236 748 150
国境之南_ 33188 10851 151
尹沽城 33186 58388 152
丹丘生_9115 33136 4191 153
翡翠森林Z 33126 449 154
若兰行歌 33103 1918 155
彬锋王座 32707 1855 156
东炜黄 32509 3308 157
一棵花白 32503 19426 158
王树义 32382 5689 159
野猫爱鱼 32088 6263 160
创业人张涵 32065 3261 161
怀双 31936 5721 162
魔鬼的赞歌 31929 5330 163
凉子菇娘 31690 19794 164
kongguyouling 31386 5793 165
简书活动精选 31355 25877 166
入江之鲸 31048 58508 167
简书茶馆叶老板 30947 22802 168
菠萝范大叔 30713 1945 169
菜七 30653 6243 170
村头愚农 30474 2937 171
马儿你慢些走 30445 1906 172
水青衣 30251 9893 173
心若了无尘 30061 900 174
爱洛 30020 2263 175
蔷薇下的阳光 29951 11544 176
剑圣喵大师 29916 50133 177
卷毛维安 29797 46299 178
sunny视界 29345 6475 179
龙哥盟飞龙 29309 6626 180
祈澈姑娘 29267 2032 181
落幕红尘 29133 2486 182
背后国文 29121 457 183
开源中国 29092 2170 184
Jk不二子 29059 6852 185
非著名程序员 29012 5540 186
食趣菜菜屋 28952 936 187
翟桃子 28859 7833 188
与君成悦 28765 15591 189
陌上红裙 28108 9071 190
明哥聊求职 28102 508 191
乐之读 27964 22003 192
千城Slash 27948 10569 193
十三夜 27852 39144 194
唐妈 27824 34559 195
鲈鱼正美 27766 630 196
lekli 27684 17290 197
用时间酿酒 27643 44456 198
费漠尘 27606 8646 199
徐甫祥评论 27594 468 200
委婉的鱼 27523 23197 201
蒲阳凡妈 27517 1668 202
Jane漂漂 27434 10383 203
马力_可能性与大设计 27393 9050 204
若木菡 27393 7347 205
医兮 27364 3570 206
晖宗聊绘画 26988 1475 207
闫泽华 26858 1469 208
纯银V 26854 26973 209
艾思 26750 8443 210
空中的梨子 26599 907 211
青红粉白 26493 1289 212
刘星文 26462 30181 213
鑫淼月儿 26461 1354 214
雷垒 26408 9762 215
Tomacado小雨 26163 557 216
一颗梧桐树 26148 6212 217
燕无忧 26123 3722 218
小怪聊职场 25949 1217 219
阿琴姑娘 25877 30244 220
林木成荫 25854 3521 221
道长是名思维贩子 25798 27964 222
在下行之 25705 42387 223
正本 25663 1196 224
向阳风 25625 3566 225
Vincy下厨 25618 671 226
目目王 25551 844 227
天青色Gracy 25525 695 228
陈狂 25516 4433 229
阿随向前冲 25455 31135 230
四叶香徊 25318 4821 231
新京报书评周刊 25233 2477 232
雪后山 25219 2414 233
林夏萨摩 25108 33889 234
图特亚斯坦 25078 6274 235
简书牧心 25038 13887 236
我是磊少 25010 1543 237
米喜 25004 8709 238
Summer爱夏天 24972 5632 239
欣星 24905 6730 240
星飞飞 24896 7849 241
丧心病狂的小坚果儿 24857 30157 242
微笑的秧秧 24782 13762 243
M有如果 24606 1036 244
米那 24590 6428 245
狐狐狐狐胡狸精 24499 600 246
快乐的Alina 24355 1290 247
孔雀东南飞飞 24272 1662 248
一道 24223 4983 249
若水国画 24105 1679 250
周樣 24045 3600 251
孟小满 24042 9326 252
刘伟书法_沈阳 23843 1433 253
冬月之恋 23827 806 254
陶瓷兔子 23761 68246 255
共央君 23753 30001 256
风铃无声江舟听雨 23735 2492 257
卡兰诺 23664 4546 258
景辰科技大数据 23653 711 259
缘末 23526 5738 260
周灿_ 23401 25558 261
虬田 23311 12208 262
许烨 23102 471 263
宛于 23093 1668 264
赵大山 23006 3613 265
名昇 22896 4247 266
Ada贝玛 22715 1087 267
陪月亮摘星星 22480 4854 268
独立思考的童话 22377 1027 269
美食达人计划 22360 5394 270
枫小梦 22250 9493 271
众心无相 22158 496 272
蒋光头jL94430 22017 11845 273
总有一朵花是香的 21905 1323 274
一篇读罢 21817 2130 275
一凡有话说 21728 7103 276
杨小米 21655 56303 277
21653 32227 278
陈汐年 21607 32644 279
池夕末 21528 791 280
亭主 21440 11705 281
没文化的野狐狸 21395 3334 282
王了一一 21383 3395 283
楚桥读唐诗 21314 5925 284
那谁菇凉 21217 3093 285
迎刃 21197 43528 286
慕宸海 21181 10754 287
Nicole林小白 21169 23537 288
火锅家族 20980 1311 289
科学认识论 20885 451 290
一个悦己 20805 13329 291
笑鸿笙 20778 1353 292
鼹鼠的土豆 20656 34662 293
Ann苳杭杭 20618 20244 294
南有先生 20541 11685 295
宋了然 20501 4073 296
技匠 20370 26436 297
张女子 20310 5986 298
南下的夏天 20241 26524 299
陈伯强 20018 350 300
贝大鱼 19990 1845 301
泗四坊方 19985 3008 302
木子丢了个白Trash 19964 1257 303
叶上清之宿雨 19939 44216 304
硬派健身 19915 9066 305
哈默老师 19800 9179 306
与Winter的五百天 19762 990 307
沈万九 19618 26798 308
华杉2009 19601 6727 309
霍子荷 19596 2875 310
占芳 19591 1997 311
人性的游戏 19576 384 312
去年的茶 19429 21996 313
元宿周期表 19396 2109 314
四月默 19374 3605 315
李寻欢怼李逍遥 19363 961 316
小k飞耳 19362 1777 317
简影喵 19327 4276 318
挥翅膀的天使 19247 2181 319
abdbpjk 19226 6067 320
姜媛写作 19224 8653 321
time刚刚好 19195 12556 322
晓多 19118 32785 323
Hobbit霍比特人 19109 431 324
温州好老师 19034 909 325
尊敬的王二 19031 7562 326
冲浪小鱼儿 19008 4749 327
楂阿 18964 4362 328
吴怼怼 18913 513 329
罗罗攀 18897 978 330
小众海外 18870 409 331
程序员联盟 18862 9256 332
雀安知 18821 557 333
心智玩家的简书 18729 1377 334
胖大苏 18648 1647 335
地球上的人 18623 995 336
瑜音荛 18450 1405 337
暖先森 18367 20092 338
射手座恶魔 18339 1647 339
弗兰克 18287 17129 340
陈大力 18205 24082 341
傅踢踢 18197 15610 342
一个人的历史 18174 1687 343
璇玑读书 18074 24940 344
地理答啦 18071 430 345
斯诺姑娘 18032 13403 346
焱公子 18016 19201 347
无名氏小小人 17954 1442 348
翻滚吧李博 17829 1554 349
无瑕的月光 17802 1585 350
空白中的独舞 17700 40780 351
植物谜的松鼠君 17660 655 352
肖先生肖军 17640 1968 353
阿何 17630 40346 354
念念观自在 17621 1015 355
半樵玉涛 17498 1495 356
见伊 17498 5972 357
琪官Kafka 17476 2339 358
墨语添香 17445 1990 359
清白脸庞 17362 6428 360
蒲苇花 17291 2379 361
白痴老猫 17281 565 362
栾晓君 17254 1744 363
武桂有 17249 11739 364
咏葭 16927 10480 365
修行的猫 16820 28659 366
狸小猫 16809 19422 367
涵八 16733 408 368
八命先生 16689 23217 369
Josie乔 16674 21719 370
遇见小娜 16595 3886 371
网易王三三 16479 4250 372
陆纤雪 16366 9968 373
幽罗 16357 4178 374
玉米婶 16348 11170 375
佳纱 16278 9546 376
专三千 16274 13925 377
苏羽Loner 16257 9239 378
陈允皓 16211 24841 379
文长长 16150 30491 380
月儿好看 16060 18187 381
夏目若安 16047 1561 382
HustWolf 15990 2194 383
画府王爷 15917 8507 384
谷穗风致 15857 5355 385
沐儿 15840 23072 386
江河散人 15799 1624 387
职场火锅 15711 395 388
MY麦子 15693 29376 389
文文心儿 15690 2729 390
穿越人生 15643 3885 391
妮妮小屋 15509 7251 392
芊语芊寻 15373 17072 393
夏知凉 15359 33402 394
六尺帐篷 15302 1489 395
香油女王玲子 15299 911 396
巫其格 15282 24024 397
八段锦 15252 3353 398
汪波_偶遇科学 15197 513 399
心向暖 15190 2645 400
宋小君 15185 37780 401
鹿人三千 15144 21036 402
Carson_Ho 15092 10858 403
妙音居 15059 980 404
笔若 14986 24168 405
紫健 14923 23976 406
随风而行之青衫磊落险峰行 14878 282 407
不俗小七 14701 9246 408
阿莲医师 14695 495 409
哆咗 14687 1082 410
娅妮妮 14607 2748 411
深海梦影 14560 8663 412
特立独行的猪先生 14479 9200 413
杉果娘 14427 206 414
大城小胖Chris 14405 2911 415
嘉百列 14383 359 416
袁小懒 14321 3948 417
小伞biubiu 14278 2105 418
因爱而生 14234 1257 419
姜甘霖 14209 193 420
Tonytoni 14208 944 421
心碎纸人 14173 8481 422
贩夫 14126 755 423
宁让职场更给力 14046 8419 424
丧心病狂刘老湿 14032 15582 425
项目经理世界 14023 865 426
竹无心a 13965 4346 427
國學上官清晨 13860 370 428
随时随地写人生 13835 933 429
林貞觀 13824 4670 430
二丁目先生 13811 2706 431
禹唐 13810 276 432
地气财经 13797 375 433
高志航_教育 13787 658 434
法语朱老师 13752 260 435
沉默岛主 13742 2789 436
简书的老袁 13676 4239 437
徐林Grace 13662 3473 438
三俗哥 13660 301 439
惊鸿2017 13620 5277 440
红山老妖 13598 5947 441
张铁钉 13560 7228 442
我爱你三小姐 13546 4461 443
腹黑电影 13531 494 444
卢璐说 13520 17663 445
静修_ 13518 3765 446
慕新阳 13492 6409 447
Charles远仁 13482 12695 448
新世相 13446 18913 449
笙醉 13436 4240 450
怡安女孩 13403 9294 451
晴天的天 13382 7601 452
尹惟楚 13308 30766 453
书中樵夫 13283 3722 454
元气少女_00 13266 6197 455
文艺女青年专治各种不服 13232 17482 456
CS工作室 13226 88 457
三顿ppt 13155 30612 458
张耘菩 13134 2288 459
君悦容 13127 4076 460
桃花红河水胖 13069 1672 461
文史小郎君 13042 1458 462
曲一刀 12980 2759 463
易词斋主人 12956 12171 464
步绾 12931 8821 465
杨喜爱 12911 6864 466
简书福利社社长简东西 12859 12806 467
二十初仲夏的树 12819 27232 468
小芒果君的爷爷 12818 860 469
朝歌晚丽 12665 16359 470
礼拜伍 12664 889 471
来慧 12635 1954 472
生命邀约 12611 6759 473
肥朝 12603 2177 474
影子影 12590 19657 475
贝小鱼 12585 34714 476
静铃音 12563 20755 477
Andy_Ron 12489 303 478
棠梨微甜 12476 1009 479
刘秀玲 12443 11273 480
人鱼线vs马甲线 12415 1715 481
耿彪 12411 692 482
松梅子扬 12298 1136 483
富兰克刘 12286 3999 484
傲看今朝 12266 11261 485
李斯特 12235 32247 486
李东西的南北 12216 1152 487
月儿上山了 12198 4554 488
野蛮人诺基亚 12165 660 489
井底女蛙 12165 17369 490
枕边音乐哦 12163 1225 491
羊美味老板 12150 12620 492
陈慕妤 12145 26441 493
扶摇风 12138 5187 494
寒七琪 12130 487 495
夏汐baby 12129 2024 496
罂粟姐姐 12119 22778 497
素怀 12078 8889 498
山有夏目 12050 5939 499
iamsujie 12021 1571 500
编程之乐 wechat
欢迎微信骚扰
您的点赞和关注会让我开心好几天