基于Hadoop的分布式并行增量爬虫技术研究

• 作者: 刘芳云 张志勇 李玉祥
• 来源期刊: 计算机测量与控制
• 关键词: Hadoop集群 分布式爬虫 并行爬虫 增量爬虫 刷新策略
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 设计与应用
• 页码范围: 269-275,308
• 页数: 8页
• 分类号: TP301
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2018.10.058

摘要

面对多媒体社交网络中在线视频的爆炸式增长,使用单机模式下爬虫提取新视频页面的效率低下,为此,提出一种基于 Map/Reduce的并行算法,大大提高了爬虫的效率;但是为了进一步改善数据冗余问题,减少过时页面的更新,改进了一种精度感知增量更新算法,利用监控技术监控网页变化情况,分析网页更新模式,增加新鲜度评估和降维处理,使用混合整数二次规划方法为发生更改的网页制定最优的刷新策略;实验证明,相比单机模式下定期频繁的刷新策略,该并行增量方法以原刷新代价的 36.7%获得了 79%的信息精确度,爬虫效率提高了 167 倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张志勇	河南科技大学信息工程学院	91	468	12.0	16.0
2	刘芳云	河南科技大学信息工程学院	1	5	1.0	1.0
3	李玉祥	河南科技大学信息工程学院	1	5	1.0	1.0