一种基于动态网页解析的微博数据抓取方法

• 作者: 唐晋韬 王挺 谢松县 钟明翔
• 来源期刊: 舰船电子工程
• 关键词: 新浪微博 数据挖掘 动态网页 爬虫
• 年，卷（期）: 2015,（10）
• 所属期刊栏目: 计算机与网络安全
• 页码范围: 95-99
• 页数: 5页
• 字数: 5218字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9730.2015.10.026

摘要

微博是一种新型信息传播媒介，产生的海量数据吸引研究人员关注并开展相关研究。微博数据获取是后续分析研究的基础和起点。以新浪微博平台为研究对象，提出了基于动态网页解析技术的微博数据多线程抓取方法。方法利用浏览器内核解析微博页面动态数据，通过模拟登陆，依据社交网站网页链接特点确定页面爬取策略，使用页面解析技术定制页面数据抽取模板，实现以用户为中心的微博数据获取。抓取结果表明，方法能对微博用户数据进行全面高效抓取，为后续数据分析和处理提供数据支持。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王挺	国防科学技术大学计算机学院	34	445	12.0	20.0
2	唐晋韬	国防科学技术大学计算机学院	10	134	6.0	10.0
3	钟明翔	国防科学技术大学计算机学院	1	4	1.0	1.0
4	谢松县	国防科学技术大学计算机学院	2	11	2.0	2.0