基于Spark框架的并行聚类算法

• 作者: 于苹苹 倪建成 姚彬修 曹博 李淋淋
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: K-means Spark 大数据 Hadoop MapReduce
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 97-101
• 页数: 5页
• 分类号: TP301.6
• 字数: 4386字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.05.021

摘要

针对传统K-means算法在处理海量数据时存在距离计算瓶颈及因迭代计算次数增加导致内存不足的问题,提出了一种基于Spark框架的SBTICK-means (Spark Based Triangle Inequality Canopy-K-means)并行聚类算法.为了更好地解决K值选取的盲目性和随机性的问题,该算法利用Canopy进行预处理得到初始聚类中心点和K值;在K-means迭代计算过程中进一步利用距离三角不等式定理减少冗余计算、加快聚类速度,结合Spark框架实现算法的并行化,充分利用Spark的内存计算优势提高数据的处理速度,缩减算法的整体运行时间.实验结果表明,SBTICK-means算法在保证准确率的同时大大提高了聚类效率,与传统的K-means算法、Canopy-K-means算法和基于MapReduce框架下的该算法相比,在加速比、扩展比以及运行速率上都有一定的提高,从而更适合应用于海量数据的聚类研究.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	倪建成	曲阜师范大学软件学院	31	137	7.0	10.0
2	姚彬修	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
3	于苹苹	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
4	曹博	曲阜师范大学信息科学与工程学院	7	84	5.0	7.0
5	李淋淋	曲阜师范大学信息科学与工程学院	6	81	5.0	6.0