基于Spark的改进K-means算法的并行实现

• 作者: 卜秋瑾 杜佳颖 段文影 段隆振
• 来源期刊: 计算机应用研究
• 关键词: 聚类算法 简化轮廓系数 形态学相似距离 相似性度量
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 434-436,497
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.07.0526

摘要

针对K-means聚类算法存在的不足,提出了改进K-means来提高算法的性能,利用简化后的轮廓系数作为评估标准衡量K-means算法中k值,采用K-means++完成K-means算法初始中心点的选择.设置好k值以及初始中心点后使用形态学相似距离作为相似度测量标准将数据点归属到距离最近的中心点形成的簇中,最后计算平均轮廓系数确定合适的k值,并在Spark上实现算法并行化.通过对四个标准数据集在准确性、运行时间和加速比三个方面的实验表明,改进后的K-means算法相对于传统的K-means和SKDK-means算法不仅提高了聚类划分质量,缩短了计算时间,而且在多节点的集群环境下表现出了良好的并行性能.实验结果分析出提出的改进算法能有效提高算法执行效率和并行计算能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	段隆振	南昌大学信息工程学院	78	539	11.0	20.0
2	段文影	南昌大学信息工程学院	12	34	4.0	5.0
3	杜佳颖	南昌大学信息工程学院	1	0	0.0	0.0
4	卜秋瑾	南昌大学信息工程学院	2	0	0.0	0.0