面向网络爬虫的高可用动态池系统设计与实现

• 作者: 何佳蕾 徐海蛟 林冠成 王佳鹏 许培宇
• 来源期刊: 福建电脑
• 学科: 工学
• 关键词: IP代理池 IP访问频率 网络爬虫 NoSQL
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 论著
• 页码范围: 8-11
• 页数: 4页
• 分类号: TP393
• 字数: 4240字
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2019.06.002

摘要

大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要.为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能.通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐海蛟	广东第二师范学院计算机科学系	10	7	1.0	2.0
2	何佳蕾	广东第二师范学院计算机科学系	5	2	1.0	1.0
3	王佳鹏	广东第二师范学院计算机科学系	3	2	1.0	1.0
4	许培宇	广东第二师范学院计算机科学系	1	1	1.0	1.0
5	林冠成	广东第二师范学院计算机科学系	1	1	1.0	1.0