分布式爬虫的研究与实现

• 作者: 冯锡炜 吴衍兵 朱睿 窦予梓 马蕾 高天铸
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 分布式集群 Nutch Solr 企业官网
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 应用开发研究
• 页码范围: 192-196
• 页数: 5页
• 分类号: TP391
• 字数: 4811字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2020.02.037

摘要

网络中的数据蕴藏着大量有价值信息,在实际的项目需求中,为了实现能够自动的在网页上对大量数据的数据信息的收集、解析、格式化存储的过程,提出了基于分布式的网络爬虫技术.采用Nutch爬虫框架和Zookeeper分布式协调服务,配合高性能的Key-Value数据库Redis对数据进行存储,采用Solr引擎将抓取信息进行清晰地索引、展示.运用提取页面信息算法优化提取页面信息流程,通过关键词匹配优化算法根据指标从抓取的数据中获取指标相关数据.通过分布式集群的搭建,Nutch项目的实现,及大量数据的采集,验证了基于Nutch的分布式网络爬虫的可行性.通过页面解析流程实验分析,基于Nutch的分布式爬虫与其他爬虫多组实验数据对比结果表明,基于Nutch的分布式爬虫项目在性能和准确度方面都优于传统其他爬虫.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯锡炜	辽宁石油化工大学计算机与通信工程学院	35	236	9.0	13.0
2	朱睿	辽宁石油化工大学计算机与通信工程学院	5	18	2.0	4.0
3	马蕾	辽宁石油化工大学计算机与通信工程学院	2	1	1.0	1.0
4	窦予梓	辽宁石油化工大学计算机与通信工程学院	2	1	1.0	1.0
5	高天铸	辽宁石油化工大学计算机与通信工程学院	2	1	1.0	1.0
6	吴衍兵	辽宁石油化工大学计算机与通信工程学院	2	1	1.0	1.0