基于MapReduce的大规模文本聚类并行化

• 作者: 冯小东 张晓楠 杨杰 武森
• 来源期刊: 北京科技大学学报
• 学科: 工学
• 关键词: 云计算 文本 聚类 相似度
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 控制与决策
• 页码范围: 1411-1419
• 页数: 9页
• 分类号: TP391
• 字数: 10941字
• 语种: 中文
• DOI: 10.13374/j.issn1001-053x.2014.10.019

摘要

建立快速有效的针对大规模文本数据的聚类分析方法是当前数据挖掘研究和应用领域中的一个热点问题。为了同时保证聚类效果和提高聚类效率，提出基于“互为最小相似度文本对冶搜索的文本聚类算法及分布式并行计算模型。首先利用向量空间模型提出一种文本相似度计算方法；其次，基于“互为最小相似度文本对冶搜索选择二分簇中心，提出通过一次划分实现簇质心寻优的二分K-means聚类算法；最后，基于MapReduce框架设计面向云计算应用的大规模文本并行聚类模型。在Hadoop平台上运用真实文本数据的实验表明：提出的聚类算法与原始二分K-means相比，在获得相当聚类效果的同时，具有明显效率优势；并行聚类模型在不同数据规模和计算节点数目上具有良好的扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	武森	北京科技大学东凌经济管理学院	64	658	14.0	23.0
2	冯小东	北京科技大学东凌经济管理学院	5	132	4.0	5.0
3	杨杰	北京科技大学东凌经济管理学院	2	19	1.0	2.0
4	张晓楠	北京科技大学东凌经济管理学院	1	19	1.0	1.0