基于Scrapy的分布式数据采集与分析 ——以知乎话题为例

• 作者: 李光敏 李平 汪聪
• 来源期刊: 湖北师范大学学报（自然科学版）
• 学科: 工学
• 关键词: Scrapy 分布式 数据分析 知乎
• 年，卷（期）: 2019,（3）
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP391.1
• 字数: 4770字
• 语种: 中文
• DOI: 10.3969/j.issn.2096-3149.2019.03.001

摘要

随着互联网技术的飞速发展和网络数据的急速增长,如何对海量数据进行快速有效地采集和分析已经成为大数据分析与应用领域中亟待解决的重要问题.基于Scrapy框架实现主从式结构的分布式网络爬虫,运用开源项目Scrapy-Redis来部署网络爬虫,继而完成对知乎网站话题的爬取与分析工作,共爬取44346个话题、94688个回答和31202个用户数据,并从话题、回答、用户这三个方面应用可视化技术进行多维度分析.结果表明,开放式网络问答社区的话题主题与网络用户性别、地理位置分布及专业背景等因素具有显著的线性相关关系.该方法可推广应用于自动模式识别、网络舆情预测等大数据应用领域.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李光敏	湖北师范大学计算机科学与技术学院	15	88	6.0	9.0
2	李平	黄冈师范学院数学与统计学院	8	15	3.0	3.0
3	汪聪	湖北师范大学计算机科学与技术学院	1	1	1.0	1.0