基于分层结构保留的增量网络爬虫算法

• 作者: 张泽斌 徐威迪 李英 胡廉民 黄翰
• 来源期刊: 计算机应用研究
• 关键词: 网络爬虫 URL过滤器 层次结构保存 频率模型
• 年，卷（期）: 2013,（8）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2381-2385
• 页数: 5页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.08.035

摘要

为了提高目前爬虫算法抓取结果的有效性,提出了一种旨在获取有效信息的改进网络爬虫算法,主要设计了信息的分层结构保留策略和URL过滤模式.在改进算法中,网络资源定位符被分层存储,在保留信息全部拓扑关系的基础上,将交错复杂的URL网络系统从一个图结构变为一个层次分明的树结构.在执行结构模式下,实现了增量爬虫算法.仿真实验以实际网站的BBS为测试数据,结果表明,改进算法比现有网络爬虫算法在爬行速度、下载效率与信息有效性等方面有较大的优势.因此,分层结构策略与URL过滤模式可以在增加少量计算时间的前提下极大提高爬虫抓取页面的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄翰	华南理工大学软件学院	50	526	11.0	21.0
2	胡廉民	乐山师范学院物理与电子工程学院	20	97	6.0	9.0
4	李英	乐山师范学院数学与信息科学学院	5	23	3.0	4.0
7	徐威迪	华南理工大学软件学院	1	14	1.0	1.0