基于Java的新浪微博爬虫研究与实现

• 作者: 柯文德 蓝鼎栋 邓文天 陈珂 黎树俊
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 新浪微博 网络爬虫 Java 数据挖掘
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 应用开发研究
• 页码范围: 191-196
• 页数: 6页
• 分类号: TP39
• 字数: 5939字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.09.042

摘要

为了高效获取更多的微博数据,针对调用微博API和网页版(com版)等传统微博爬虫在数据采集中所存在的问题,设计开发了一个基于Java的采集新浪微博Weibo.cn站点的网络爬虫系统.该系统通过广度遍历结合组拼URL的方式采集网页源码,使网页源码更加简洁,纯净度更高,降低了网络传输压力并减少了HTML源码解析时间.主要实现了微博模拟登陆、微博网页爬取、微博页面数据提取和任务调度控制,并对爬取数据进行了分析,在爬虫中添加了主题微博筛选功能.为验证该系统的有效性和可行性,与其他传统方法进行了分析对比.实验验结果表明,所提出的系统爬取效率更高,实现代码更简便.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈珂	广东石油化工学院计算机与电子信息学院	62	243	8.0	12.0
2	柯文德	广东石油化工学院计算机与电子信息学院	57	230	8.0	12.0
3	邓文天	广东石油化工学院计算机与电子信息学院	4	9	2.0	3.0
4	黎树俊	广东石油化工学院计算机与电子信息学院	7	11	2.0	3.0
5	蓝鼎栋	广东石油化工学院计算机与电子信息学院	3	12	2.0	3.0