基于Spark的K-means聚类的并行实现与优化

• 作者: 王兴芬 马洋春
• 来源期刊: 福建电脑
• 关键词: 密度法 最大最小距离原则 Canopy算法 K-means算法 Spark
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 基金项目论文
• 页码范围: 1-4
• 页数: 4页
• 字数: 4609字
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2017.11.001

摘要

为解决传统聚类算法K-means在处理海量数据聚类时对初始中心点的选取十分的依赖,容易得到部分最优而非全局最优的聚类后果,提出了一种基于Spark改进的聚类优化DMCK-means算法.DMCK-means算法首先应用密度法排除孤立点和噪声点使初始聚类中心选取趋于最优化;采用Canopy算法和最大最小距离原则,粗略聚类降低运算规模同时避免中心选取的盲目性.实验结果表明:该改进算法不仅降低了对初始聚类中心点选取的依赖,而且降低了聚类的时间,具有良好的扩展性和可行性,在处理大规模海量数据时能展示出较大的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王兴芬	北京信息科技大学信息管理学院	42	221	8.0	13.0
2	马洋春	北京信息科技大学计算机学院	1	1	1.0	1.0