基于MapReduce的微博文本采集平台

• 作者: 于留宝 胡长军 苏林晗
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: Hadoop MapReduce 微博 数据采集 Sina
• 年，卷（期）: 2012,（z3）
• 所属期刊栏目: 信息存储与挖掘
• 页码范围: 143-145
• 页数: 3页
• 分类号: TP311
• 字数: 2601字
• 语种: 中文

摘要

微博不仅数据量大,而且实时性高,采用传统的Web文本爬取方式,很难在短时间内获取足量的微博.为了解决研究微博数据面临的数据采集问题,提出了基于MapReduce的微博数据采集平台,将整个微博抓取系统部署在hadoop平台上,充分利用hadoop分布式框架的特点,实现多节点同时抓取微博,很大程度上提高了抓取速率；并就微博采集过程中因输入数据过小导致hadoop不能有效均衡负载的问题,提出了采用多个小文件的输入方式,有效地解决了负载不均衡的问题.最后以Sina微博为例进行结,结果表明,该系统成本低、扩展性好、效率高,可广泛应用于基于微博数据的舆情分析以及传播学和虚拟社会学等方面的研究,并作为其基础数据采集平台.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡长军	北京科技大学计算机与通信工程学院	64	555	10.0	21.0
2	于留宝	北京科技大学计算机与通信工程学院	2	111	2.0	2.0
3	苏林晗	北京科技大学计算机与通信工程学院	1	8	1.0	1.0