网络爬虫技术研究与分析

• 作者: 刘斌 杜彦璞 苏雷
• 来源期刊: 城市地理
• 关键词: 网络爬虫 多线程 搜索
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 特别关注?SPECIAL ATTENTION
• 页码范围: 227-227
• 页数: 1页
• 字数: 2199字
• 语种: 中文

摘要

随着因特网的飞速发展、网络信息的增多，用户要在如此大的海洋信息中找出自己所需的内容，就像大海捞针一样，为了解决这个问题，网络爬虫随之诞生。本文分析了目前网络爬虫的历史现状和发展趋势，对当前的爬虫技术进行分析。宽度优先搜索网络爬虫技术，对URL进行分析、去重，同时根据关键字在网页正文中进行匹配并使用多线程技术，让爬虫效率更高，具备更强大的抓取能力。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘斌	成都理工大学管理科学学院	42	121	6.0	9.0
2	杜彦璞	成都理工大学管理科学学院	5	16	2.0	4.0
3	苏雷	成都理工大学管理科学学院	4	5	1.0	2.0