基于MapReduce的K-means聚类算法的优化

• 作者: 孙玉强 李媛媛 陆勇
• 来源期刊: 计算机测量与控制
• 关键词: K均值算法 抽样 Canopy算法 最大最小距离法
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 设计与应用
• 页码范围: 272-275,279
• 页数: 5页
• 分类号: TP311
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2016.07.073

摘要

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷.提出了一种基于MapReduce的改进K-means聚类算法.该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景;文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者;这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙玉强	常州大学信息科学与工程学院	19	65	5.0	7.0
2	陆勇	常州大学信息科学与工程学院	2	7	1.0	2.0
3	李媛媛	常州大学信息科学与工程学院	3	7	1.0	2.0