基于Python的网络新闻爬虫与检索

• 作者: 刘文竹 姜晓燕 陈欢 高永彬 黄勃
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 爬虫 信息检索 Scrapy Solr 数据去重
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 网络、通信与安全
• 页码范围: 168-171
• 页数: 4页
• 分类号: TP393
• 字数: 3606字
• 语种: 中文
• DOI: 10.11907/rjdk.191232

摘要

网络上存在众多新闻门户网站,新闻信息繁多,造成严重的新闻信息过载.针对该类问题,设计一个基于Python的网络新闻信息搜集与检索系统.该系统通过使用Scrapy网络爬虫框架进行网络新闻信息搜集,同时对新闻链接、标题进行去重,最后使用Slor检索服务对爬虫获得的新闻数据进行全文检索.与传统方法相比,该系统设计的去重方法在保证链接不重复的情况下,对标题进行去重,并引入Solr检索服务,可以帮助读者更快速地找到想要阅读的新闻.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄勃	上海工程技术大学电子电气工程学院	40	87	5.0	7.0
3	刘文竹	上海工程技术大学电子电气工程学院	3	4	1.0	2.0
4	陈欢	上海工程技术大学电子电气工程学院	3	4	1.0	2.0
7	高永彬	上海工程技术大学电子电气工程学院	12	14	2.0	3.0
8	姜晓燕	上海工程技术大学电子电气工程学院	4	8	2.0	2.0