基于 MD5去重树的网络爬虫的设计与优化

• 作者: 丁宾 严磊 姚志敏 郑涛 马勇男
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 搜索引擎 网络爬虫 哈希链表 去重树
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 信息技术交流
• 页码范围: 325-329,333
• 页数: 6页
• 分类号: TP311
• 字数: 7979字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2015.02.078

摘要

随着信息化社会的不断发展，互联网上的数据越来越多，随之也产生了各种各样的搜索引擎，网络爬虫正是为搜索引擎提供数据基础的。由于大多数普通的网络爬虫在数据量巨大时都会因为 DNS 解析以及 url 去重而消耗大量的时间，为了更好地改进爬虫的效率，让爬虫在大数据处理时依然拥有良好的性能，使用哈希链表缓存 DNS 并将 DNS 解析的效率相对于普通不做 DNS 优化的爬虫提高了2．5～3倍。再将 MD5加密算法以及树相结合设计出一种基于 MD5的 url 去重树，理论上使得 url 去重的空间复杂度相对于普通哈希表缩小60倍，而让其查重的时间复杂度接近于 O （1）。最终通过实验证明了该设计的数据结构较为良好。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁宾	徐州工程学院信电工程学院	13	64	5.0	7.0
2	郑涛	徐州工程学院信电工程学院	4	33	3.0	4.0
3	严磊	徐州工程学院信电工程学院	2	25	2.0	2.0
4	马勇男	徐州工程学院信电工程学院	2	25	2.0	2.0