一种K-means改进算法的并行化实现与应用

• 作者: 俞丽颖 唐雪飞 李晓瑜 雷航
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: canopy算法 Hadoop MapReduce 并行K-means 文本聚类
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 61-68
• 页数: 8页
• 分类号: TP311
• 字数: 5738字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0548.2017.01.010

摘要

随着数据的爆炸式增长，聚类研究作为大数据的核心问题之一，正面临计算复杂度高和计算能力不足等诸多问题。提出了一种基于Hadoop的分布式改进K-means算法，该算法通过引入Canopy算法初始化K-means算法的聚类中心，克服传统K-means算法因初始中心点的不确定性，易陷入局部最优解的问题。本算法在Canopy(罩盖)中完成K-means聚类，并在Canopy间完成簇的合并，聚类效果稳定，迭代次数少。同时，结合MapReduce分布式计算模型，给出改进后算法的并行化设计方法和策略，进一步通过改进相似度度量方法，将该方法用于文本聚类中。实验结果证明该算法具有良好的准确率和扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	雷航	电子科技大学信息与软件工程学院	92	1434	17.0	35.0
2	唐雪飞	电子科技大学信息与软件工程学院	25	418	11.0	20.0
4	李晓瑜	电子科技大学信息与软件工程学院	19	150	5.0	12.0
7	俞丽颖	电子科技大学信息与软件工程学院	1	47	1.0	1.0