基于窗口比较的网站信息增量爬取方法

• 作者: 刘学 尤佳莉 脱立恒 麻朴方
• 来源期刊: 网络新媒体技术
• 关键词: 增量爬取 爬取效率 Hash 布隆过滤器
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 学术研究
• 页码范围: 24-27
• 页数: 4页
• 字数: 2684字
• 语种: 中文

摘要

目前在网站信息增量爬取中,采用布隆过滤器去重是比较有效的方法,但随着存入的元素数量增加,误算率随之增加.为此本文设计并实现了一种基于窗口比较的网站信息增量爬取方法,按照网站数据呈现顺序一次性爬取有限长度的数据,并按照网站数据的呈现顺序放入数据队列,在数据队列末端设定比较窗口,通过检查比较窗口内的数据与已爬取数据的重复度决定是否停止数据爬取.实验表明,针对增量爬取未严格按照时间排序网站信息时,本方法降低了爬取损耗.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尤佳莉	中国科学院声学研究所国家网络新媒体工程技术研究中心	34	78	5.0	6.0
2	刘学	中国科学院声学研究所国家网络新媒体工程技术研究中心	60	207	8.0	12.0
3	脱立恒	中国科学院声学研究所国家网络新媒体工程技术研究中心	5	17	3.0	4.0
4	麻朴方	中国科学院声学研究所国家网络新媒体工程技术研究中心	2	1	1.0	1.0