基于Spark的改进K-means快速聚类算法

• 作者: 徐健锐 詹永照
• 来源期刊: 江苏大学学报（自然科学版）
• 学科: 工学
• 关键词: 改进K-means 预抽样 最大最小距离 矩阵分割 矩阵计算
• 年，卷（期）: 2018,（3）
• 页码范围: 316-323
• 页数: 8页
• 分类号: TP391.1
• 字数: 7010字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7775.2018.03.012

摘要

针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环境和集群环境的对比测试,说明该算法适用于大规模数据环境,且算法性能与数据规模成正比,集群环境较单机环境也具有很大的性能提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	詹永照	江苏大学计算机科学与通信工程学院	189	1744	21.0	31.0
2	徐健锐	江苏大学计算机科学与通信工程学院	8	57	4.0	7.0