微博数据通用抓取算法

• 作者: 刘任任 刘新 卢体广
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 微博数据 模拟登录 用户网络 用户影响力 网络舆情 优先队列
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 移动社交专题
• 页码范围: 12-16,20
• 页数: 6页
• 分类号: TP311.13
• 字数: 7004字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.05.003

摘要

目前常用的网络爬虫和基于微博 API 抓取数据的算法很难满足舆情系统对微博数据的需求。为此，提出一种模拟浏览器登录微博抓取网页数据的算法，以方便地获取任意微博用户网页上的所有数据。通过微博用户之间的关系构建用户网络，并通过该网络发现新用户。为获取微博上有质量的数据，建立一个完整的数学模型，根据用户的发帖数、发帖频率、粉丝数、转发数、评论数等因素来计算用户影响力，以影响力为主要因子构建优先队列，使得影响力越大的用户数据采集频率越高，同时计算时间间隔以兼顾非活跃用户的数据获取。实验结果表明，该算法具有通用性强、完全无需人工干预、获取信息的质量高、速度快等优点。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘任任	湘潭大学信息工程学院智能计算与信息处理教育部重点实验室	104	608	13.0	20.0
2	刘新	湘潭大学信息工程学院智能计算与信息处理教育部重点实验室	38	204	8.0	12.0
3	卢体广	湘潭大学信息工程学院智能计算与信息处理教育部重点实验室	1	11	1.0	1.0