基于Scrapy框架的分布式爬虫设计与实现

• 作者: 宫海瑞 张睿 王芳
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 网络爬虫 Scrapy 分布式
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 研究与探讨
• 页码范围: 96-101
• 页数: 6页
• 分类号: TP391.9
• 字数: 4094字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2019.03.023

摘要

网络爬虫是近些年来较为热门的技术之一,它被广泛应用于搜索引擎技术,现今技术不断发展成熟,爬虫不仅仅应用于搜索引擎的信息搜集,更多应用于定向信息的采集,比如房价、招聘信息、用户信息等等.文中以Python及其框架Scrapy环境为基础,以知乎网站为例,来爬取用户信息.通过使用Scrapy框架实现爬虫,分析整个爬取的原理,了解爬取的运行流程,特别对反爬虫策略进行优化,实现程序在远程服务器的部署,将信息存储到时下较为流行的No-SQL数据库中,最后对爬取数据进行分析与展示.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王芳	太原科技大学计算机科学与技术学院	67	327	11.0	14.0
2	张睿	太原科技大学计算机科学与技术学院	23	41	4.0	5.0
3	宫海瑞	太原科技大学计算机科学与技术学院	1	7	1.0	1.0