基于Hadoop二阶段并行模糊c-Means数据聚类算法

• 作者: 师智斌 高献卫
• 来源期刊: 计算机测量与控制
• 关键词: 二阶段 模糊c-Means 大数据 数据聚类 hadoop
• 年，卷（期）: 2015,（3）
• 所属期刊栏目: 算法、设计与应用
• 页码范围: 842-846
• 页数: 5页
• 分类号: TP312
• 语种: 中文

摘要

为了解决MapReduce机制下算法通信时间占用比过高实际应用价值受限的问题,提出了基于Hadoop二阶段并行c-Means聚类算法;首先,采用成员管理协议方式实现成员管理与MapReduce降低操作的同步化方法,改进MapReduce机制下的MPI通讯管理方法;其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法,通过第一阶段的缓冲进一步降低第二阶段Ma-pReduce操作的数据量,尽可能降低大数据带来的对算法负面影响;通过仿真实验表明该算法在处理大数据上的性能表现较为优异;该算法在大规模数据集上的并行率和加速比都优于小型数据集上的表现,说明了该算法能够实时根据数据量的大小对自身进行调整.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	师智斌	中北大学计算机与控制工程学院	13	39	4.0	5.0
2	高献卫	中北大学计算机与控制工程学院	3	16	2.0	3.0