基于MapReduce的模糊K-means算法并行化研究

• 作者: 杨延庆 袁华兵
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 模糊K-means MapReduce模型 Combine函数 Hadoop平台
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 算法与分析
• 页码范围: 1564-1567,1765
• 页数: 5页
• 分类号: TP301
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2020.07.004

摘要

模糊K-means算法是一种能够定量地确定事物亲属关系的软聚类算法,由于该算法在大规模数据的分析和处理中存在的不足,因此提出一种基于MapReduce模型的并行化实现.首先在Map函数的输出传递给其他节点的Reduce函数之前,改进Combine函数设计,增加本地中间结果处理,减少通信开销,以提高MapReduce任务计算速度.然后在Hadoop分布式计算平台上对多组规模不同的数据集进行测试.实验表明,基于MapReduce的并行模糊K-means算法适合大规模数据的分析和处理,而且执行速度提高了约1.9倍,聚类效果更为显著.