基于Spark的并行K-means算法研究

• 作者: 沈航 蔚承建 许明杰
• 来源期刊: 微电子学与计算机
• 关键词: Spark K-means PSO 迭代计算
• 年，卷（期）: 2018,（5）
• 页码范围: 95-99
• 页数: 5页
• 分类号: TP181|TP273
• 语种: 中文

摘要

针对K-means算法在海量数据的处理过程中,由迭代计算次数加大导致的内存不足的问题,提出Spark并行化的K-means算法.将粒子群优化(PSO)与K-means结合,利用PSO来提高K-means的全局搜索能力,得到初始聚类中心.利用Spark的迭代计算能力,将K-means算法与Spark并行框架结合,提升该算法模型对数据的处理速度,缩短算法的整体运行时间.通过疾病检测数据进行实验,结果表明Spark并行化的PSOK-means算法在保证准确率的同时大大提高了算法的效率,本算法对于海量数据的聚类研究有着很好的应用场景.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔚承建	南京工业大学计算机科学与技术学院	50	169	8.0	9.0
2	沈航	南京工业大学计算机科学与技术学院	52	96	5.0	8.0
3	许明杰	南京工业大学计算机科学与技术学院	2	27	2.0	2.0