基于Spark平台的K-means聚类算法改进及并行化实现

• 作者: 吴哲夫 张彤 肖鹰
• 来源期刊: 互联网天地
• 关键词: K-means 聚类 Spark 并行化
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 研究与分析
• 页码范围: 44-50
• 页数: 7页
• 字数: 4042字
• 语种: 中文

摘要

针对K-means算法在数据聚类过程中初始值选取的随机性问题,基于非均匀采样原则对该算法进行改进.同时,针对聚类算法并行化的需求,基于Spark平台对改进算法进行了并行化实现.单机串行处理和集群并行化实验证明了该改进算法在处理海量数据集时具有更高的准确性和稳定性,且在Spark平台上的并行化实现具有良好的加速比和可扩展性,从而表明该算法能在实际的海量数据处理中高效运行.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴哲夫	浙江工业大学信息工程学院	35	172	7.0	11.0
2	张彤	浙江工业大学信息工程学院	19	81	5.0	7.0
3	肖鹰	浙江工业大学信息工程学院	4	31	2.0	4.0