针对微博的免登录分布式网络爬虫的研究

• 作者: 刘星辰 王林
• 来源期刊: 计算机测量与控制
• 关键词: 免登录网络爬虫 分布式网络爬虫 Hadoop MapReduce
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 设计与应用
• 页码范围: 128-131,136
• 页数: 5页
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2019.07.028

摘要

微博作为优质的数据源,其中的数据非常适合做舆情分析等;新浪官方提供的API限制数据采集速度,而利用模拟登录的网络爬虫采集数据又相对复杂且会降低效率;针对这些问题,设计了一个免登录的微博网络爬虫;通过实验表明,该爬虫可以更快的对微博数据进行完整稳定的采集;随着对数据需求量越来越大,单机网络爬虫已经不足以满足要求,将Hadoop分布式计算平台与免登录爬虫相结合,设计了一个基于MapReduce的分布式网络爬虫系统,利用多台计算机组成的集群,实现短时间内免登录抓取海量微博数据;通过实验证明,该爬虫系统可以每天稳定抓取近千万条微博.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王林	西安理工大学自动化与信息工程学院	74	1063	14.0	31.0
2	刘星辰	西安理工大学自动化与信息工程学院	1	2	1.0	1.0