社交网络数据采集技术研究与应用

• 作者: 刘渊 吴文鹏 徐雁飞
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: Python 微博API 模拟登录 网络爬虫 采集器 融合策略
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 人工智能
• 页码范围: 277-282
• 页数: 6页
• 分类号: TP393
• 字数: 5767字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2017.01.051

摘要

随着社交网络的快速发展,对其研究也逐步深入.显然,社交网络基础数据的获取对研究具有非常重要的意义.针对目前已有的数据采集方案,根据新浪授权标准以及最新的微博加密方式,研究了两种采集方案:1)经OAuth2.0认证后,通过微博API接口获取数据;2)在RSA2加密方式下模拟登录微博,再通过网络爬虫抓取数据.同时,还研究了通过网页采集器针对微博编写适当的采集规则进而实现对数据的获取.3种数据采集方案都能有效地对数据进行采集且各具特点,针对数据的采集需求,提出融合不同的采集方案的策略.经实验研究,方案的融合策略可快速、高效地实现大数据量的采集.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘渊	江南大学数字媒体学院	235	1325	17.0	25.0
2	吴文鹏	江南大学数字媒体学院	2	20	1.0	2.0
3	徐雁飞	江南大学数字媒体学院	4	25	2.0	4.0