基于 MapReduce的并行聚类算法设计与实现

• 作者: 刘向东 刘奎 王翠荣 胡飞翔
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 大数据 聚类算法 云平台 并行处理 MapReduce
• 年，卷（期）: 2014,（11）
• 所属期刊栏目: 算法
• 页码范围: 251-256
• 页数: 6页
• 分类号: TP391
• 字数: 4729字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.11.064

摘要

针对目前聚类算法对大数据处理效率较低的问题，研究云平台上高效并行化的聚类算法十分必要。在HDFS分布式文件系统基础上，设计一种并行聚类算法P-ISODATA，利用MapReduce编程框架的执行机制将传统ISODATA聚类算法并行化，并在Map阶段之后加入Combine阶段以减少网络传输开销，进一步提高执行效率。实验从著名UCI机器学习库上选取若干数据集作为测试数据，分析了新并行算法P-ISODATA性能，结果表明基于P-ISODATA算法具有优良的加速比、数据伸缩率和扩展率，可以有效地应用于大规模数据的处理。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘向东	东北大学秦皇岛分校计算机与通信工程学院	22	251	10.0	15.0
2	王翠荣	东北大学秦皇岛分校计算机与通信工程学院	41	470	10.0	20.0
3	刘奎	东北大学秦皇岛分校计算机与通信工程学院	6	46	3.0	6.0
4	胡飞翔	东北大学信息工程学院	1	16	1.0	1.0