基于Scrapy框架的分布式网络爬虫的研究与实现

• 作者: 匡芳君 华云彬
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 网络爬虫 分布式 Scrapy Redis
• 年，卷（期）: 2018,（5）
• 页码范围: 46-50
• 页数: 5页
• 分类号: TP391.3
• 字数: 3934字
• 语种: 中文

摘要

针对网络爬虫开发时面临的攻防、去重和爬取效率等问题,通过着重分析基于Scrapy框架的分布式知乎网络爬虫的工作原理和实现方式以及一些关于分布式运行原理、反爬虫、去重算法、Redis数据库、MongoDB数据库等方面的技术,设计和实现了基于Scrapy框架的分布式网络爬虫.最后通过对该爬虫的对比测试分析,得出了如何提高爬虫的爬取效率和避免网站反爬的应对策略.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	华云彬	温州商学院信息工程学院	1	11	1.0	1.0
2	匡芳君	温州商学院信息工程学院	20	61	4.0	7.0