Spark环境下的并行模糊C均值聚类算法

• 作者: 周国亮 朱永利 王桂兰 萨初日拉
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Spark 模糊C均值 矩阵运算 内存计算
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 第三届CCF大数据学术会议(CCF BigData 2015)
• 页码范围: 342-347
• 页数: 6页
• 分类号: TP393.027
• 字数: 6085字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.02.0342

摘要

针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM.首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点.通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2～3倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱永利	华北电力大学信息与网络管理中心	268	5516	39.0	62.0
2	周国亮	华北电力大学信息与网络管理中心	7	706	5.0	7.0
3	王桂兰	华北电力大学信息与网络管理中心	9	145	6.0	9.0
4	萨初日拉	华北电力大学信息与网络管理中心	4	136	4.0	4.0