网络爬虫的研究与设计

• 作者: 郑定超 麻少秋
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 网络爬虫 广度优先 搜索引擎
• 年，卷（期）: 2018,（9）
• 页码范围: 43-45
• 页数: 3页
• 分类号: TP391

摘要

针对当前网络上信息呈爆炸式增长的态势,我们如何更好更快地获取有效信息就成了一个问题。我们获得信息最主要的途径就是通过搜索引擎,网络爬虫在整个搜索引擎中起着最为重要的作用。研究网络爬虫的功能和结构、设计并实现一个基于广度优先爬行策略的带URL消重功能的网络爬虫、对该网络爬虫进行测试验证爬行效果和对设计的三种消重算法的性能进行比较研究,提高爬虫的爬行效率;最后,采用广度优先的爬行策略,验证了该爬虫的爬行效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑定超		15	12	2.0	2.0
2	麻少秋		8	9	2.0	3.0