一种基于 P2P 技术的分布式微博爬虫系统

• 作者: 卢杨 孙国梓 李华康
• 来源期刊: 江苏大学学报（自然科学版）
• 学科: 工学
• 关键词: 网络爬虫 P2P 分布式 微博 模拟登录
• 年，卷（期）: 2016,（3）
• 页码范围: 296-301
• 页数: 6页
• 分类号: TP311
• 字数: 5465字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7775.2016.03.008

摘要

微博正逐步成为公共信息传播的主要媒体，高效地获取微博数据则显得至关重要，分析微博数据有助于研究者及时了解舆情信息。由于传统网页爬虫无法获取完整的微博信息，微博 API 又有诸多限制，因此针对新浪微博，设计了一种基于 P2P 技术的微博爬虫系统。该系统避免了新浪 API的功能和连接限制，使用基于模拟登录的网页爬虫，根据用户的地理位置信息划分任务，实现连续高效的数据采集。通过与其他架构的试验比较，证明本系统具有良好的性能，能为舆情分析提供数据支持。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙国梓	南京邮电大学计算机学院	62	496	12.0	20.0
5	李华康	南京邮电大学计算机学院	16	135	5.0	11.0
9	卢杨	南京邮电大学计算机学院	1	14	1.0	1.0