Scrapy分布式爬虫搜索引擎

• 作者: 刘思林
• 来源期刊: 电脑知识与技术:学术交流
• 学科: 工学
• 关键词: 网络爬虫 Scrapy 分布式 Scrapy-Redis DJANGO Elasticsearch
• 年，卷（期）: 2018,（12）
• 页码范围: 186-188
• 页数: 3页
• 分类号: TP311

摘要

随着大数据时代的到来,信息的获取与检索尤为重要。如何在海量的数据中快速准确获取到我们需要的内容显得十分重要。通过对网络爬虫的研究和爬虫框架Scrapy的深入探索,结合Redis这种NoSQL数据库搭建分布式爬虫框架,并结合Django框架搭建搜索引擎网站,将从知乎,拉钩,伯乐等网站抓取的有效信息存入ElasticSearch搜索引擎中,供用户搜索获取。研究结果表明分布式网络爬虫比单机网络爬虫效率更高,内容也更丰富准确。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘思林		2	5	1.0	2.0