基于Spark的模糊C均值算法改进

• 作者: 夏邢 李婷 薛涛
• 来源期刊: 西安工程大学学报
• 关键词: 模糊C均值 Canopy算法 马哈拉诺比斯距离 Spark 并行化
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 计算机科学
• 页码范围: 100-105
• 页数: 6页
• 分类号: TP301.6
• 语种: 中文

摘要

模糊C均值(FCM,fuzzzy C-Means)算法是一种在大数据分析领域广泛使用的聚类算法,由于FCM的聚类结果和聚类速度很大程度上取决于初始聚类中心,因此给出一种Canopy-FCMBM改进算法.首先运用Canopy算法生成聚类中心和聚类数量,并以此结果作为FCM算法的初始聚类中心,从而解决确定聚类数目困难和随机初始聚类中心容易产生局部最优解等问题.针对数据存在多维度且分布不均匀的问题,将FCM算法目标函数距离度量方式由欧几里德距离替换为马哈拉诺比斯距离.最后通过Spark编程模型实现Canopy-FCMBM算法的并行化处理,提高算法执行效率.结果表明,相比较传统的FCM算法,基于Spark的Canopy-FCMBM算法聚类准确率提升12.7％,聚类速度提升1.35倍,聚类效果更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	薛涛	西安工程大学计算机科学学院	67	213	7.0	10.0
2	李婷	西安工程大学计算机科学学院	15	69	6.0	7.0
3	夏邢	西安工程大学计算机科学学院	2	2	1.0	1.0