基于Spark平台的K-means算法的设计与优化

• 作者: 于天鹏 李猛坤 杨余旺 沈兴鑫 王义武
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 聚类 聚类中心 K-means 最大最小距离算法 非加权组平均法
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 72-76
• 页数: 5页
• 分类号: TP301
• 字数: 3752字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.03.015

摘要

聚类中心需要手动设置是K-means算法最大的问题,而通常情况是并不能确定现实中数据的分类情况.为了解决这一问题,提出了一种新的OCC K-means算法.不同于传统算法以随机选择的方式产生聚类中心,该算法进行必要的预处理,利用UPGMA和最大最小距离算法对数据点进行筛选,得到可以反映数据分布特征的点,并作为初始的聚类中心,以提高聚类的精度.从两次的实验结果可以对比出,在不同的数据集上,改进算法在衡量聚类效果的准确率、召回率、F-测量值上的表现要优于传统K-means算法.这是因为OCC算法选择的中心点来自于不同的且数据密集的区域,并在筛选的过程中排除了噪声数据、边缘数据对实验的干扰;同时为了契合大数据发展潮流,使用Scala语言在Spark平台进行了并行化实现,提高了算法处理海量数据的能力,并通过实验指标验证了算法具有良好的并行化能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨余旺	南京理工大学计算机科学与工程学院	76	410	10.0	15.0
2	王义武	南京理工大学计算机科学与工程学院	3	4	1.0	2.0
3	沈兴鑫	南京理工大学计算机科学与工程学院	1	3	1.0	1.0
4	李猛坤	清华大学经管学院	1	3	1.0	1.0