基于Hadoop微博热点话题挖掘系统的设计与实现

• 作者: 何加铭 曾兴斌 杨浩
• 来源期刊: 数据通信
• 关键词: Hadoop 微博 热点话题挖掘 MapReduce TF-IDF Apriori
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 技术方案
• 页码范围: 10-12,54
• 页数: 4页
• 字数: 3028字
• 语种: 中文

摘要

为获得微博中的热点话题,本文设计并实现了一个基于Hadoop微博热点话题挖掘系统,包含数据采集、数据预处理、数据存储、热点话题挖掘四个子系统.面对庞大数据量,采用HDFS分布式存储;在TF-IDF算法的基础上做出了改进,本文提出影响度的概念;针对单节点数据处理的性能瓶颈,对改进后的TF-IDF算法和经典关联规则挖掘算法Apriori进行了MapReduce化设计.实验结果表明,该系统能高效率地采集微博数据,同时能够提取微博热点话题.并且当数据量变大,该系统较单节点有明显时间优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何加铭	宁波大学通信技术研究所	105	467	11.0	15.0
3	曾兴斌	宁波大学通信技术研究所	40	214	8.0	13.0
9	杨浩	宁波大学通信技术研究所	4	6	1.0	2.0