基于Hadoop的微博热点话题发现的聚类算法

• 作者: 张媛媛 彭玉青 董良 高红灿
• 来源期刊: 软件
• 学科: 工学
• 关键词: 话题发现 K-means聚类算法 簇内距离 簇间距离 Hadoop Mahout
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 46-50
• 页数: 5页
• 分类号: TP301
• 字数: 4296字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2016.10.011

摘要

针对海量微博数据无法高速、精准发现热点话题的问题，基于Hadoop大数据处理技术，提出了一种面向微博热点话题发现的文本聚类算法。利用大数据处理平台 Hadoop 下开源机器学习软件库 Mahout，将文本聚类和热点话题相结合，对基于余弦距离测度的K-means算法进行改进，通过对不同区间范围的余弦距离进行适当的增大或缩小，提高了微博热点话题聚类结果的簇内聚集度和簇间分离度。实验结果表明，采用修改余弦距离的改进的K-means算法，微博热点话题聚类结果的簇内距离减少了2.72%，簇间距离增大了4.12%，召回率和准确率也分别提高了7%和6%，有效的提高了微博热点话题发现的聚类质量。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭玉青	河北工业大学计算机科学与软件学院	33	309	9.0	17.0
2	张媛媛	河北工业大学计算机科学与软件学院	8	83	4.0	8.0
3	高红灿	河北工业大学计算机科学与软件学院	1	4	1.0	1.0
4	董良	河北工业大学计算机科学与软件学院	1	4	1.0	1.0