基于MapReduce和Spark的大数据模糊K-means算法比较

• 作者: 宋丹丹 张素芳 王谟瀚 田石 翟俊海
• 来源期刊: 河北大学学报（自然科学版）
• 学科: 工学
• 关键词: 大数据 机器学习 聚类算法 模糊聚类算法 迭代算法
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 电子工程与计算机科学
• 页码范围: 433-440
• 页数: 8页
• 分类号: TP181
• 字数: 4870字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1565.2020.04.015

摘要

从原理和实验2方面对基于MapReduce和Spark的大数据模糊K-均值算法进行分析比较,并对2种大数据开源平台的优缺点进行了总结.由于模糊K-均值算法是一种迭代算法,需要对部分数据进行重复操作以得到最终聚类结果,因此主要从算法执行时间、同步次数、文件数目、容错性能、资源消耗这5方面进行比较,得出的结论对从事大数据研究的人员具有较高的参考价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	翟俊海	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	45	256	9.0	12.0
2	张素芳		12	75	4.0	8.0
3	宋丹丹	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	6	0	0.0	0.0
4	田石	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	1	0	0.0	0.0
5	王谟瀚	河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室	2	0	0.0	0.0