微博用户信息采集分析系统设计与实现

• 作者: 夏玲玲 张扬 王沁 范岩 陈俊安
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 新浪微博 网络爬虫 模拟登录 数据分析
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 软件设计与开发
• 页码范围: 125-129
• 页数: 5页
• 分类号: TP319
• 字数: 4225字
• 语种: 中文
• DOI: 10.11907/rjdk.191139

摘要

系统运用Python语言克服新浪微博反爬虫问题,使用Scrapy框架实现了高效、稳定的微博用户信息爬虫程序,全面获取用户在微博中的基本信息,并导入Neo4j图数据库和Echarts数据可视化库进行人物关系分析和挖掘.此外,系统针对微博中存在大量"网络水军"的现状设置了过滤选项,可以有效排除"网络水军"非正常行为对分析结果的影响.系统调试结果表明,系统能够实现对特定微博下转发、评论用户信息的实时、稳定、高效采集与分析,有效帮助人们从海量数据中提取复杂的关联关系,简洁、直观地分析微博用户之间的交互关系.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	夏玲玲	江苏警官学院计算机信息与网络安全系	3	0	0.0	0.0
2	王沁	江苏警官学院计算机信息与网络安全系	2	0	0.0	0.0
3	张扬	江苏警官学院计算机信息与网络安全系	2	0	0.0	0.0
4	陈俊安	江苏警官学院计算机信息与网络安全系	2	0	0.0	0.0
5	范岩	江苏警官学院计算机信息与网络安全系	2	0	0.0	0.0