基于NCrawler的网络爬虫设计及其应用探讨

• 作者: 慕云逸 时铭月 杨琳
• 来源期刊: 软件产业与工程
• 关键词: 网络爬虫 NCrawler 网络爬虫设计 网络爬虫应用
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 软件工程篇
• 页码范围: 31-35
• 页数: 5页
• 字数: 4866字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-7933.2016.05.06

摘要

网络爬虫技术经过多年的发展,传统的应用和分析相对成熟,但是随着大数据、移动互联网时代的到来,在大规模、海量异构、隐蔽信息的实时快速采集和获取方面,仍然存在诸多的困难.本文对网络爬虫的技术原理进行分析,开发了基于NCrawler的网络爬虫软件并进行应用,可依据关键词灵活在网页深度、广度搜索两种搜索策略中调整权重,具有广泛的扩展能力,支持各种类型及格式资源的爬取.最后本文对网络爬虫技术的应用领域和趋势进行了分析和展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨琳		15	43	2.0	6.0
2	慕云逸		1	3	1.0	1.0
3	时铭月		1	3	1.0	1.0