基于MapReduce的分布式贪心EM算法

• 作者: 吴观茂 曹家庆
• 来源期刊: 信息技术与网络安全
• 学科: 工学
• 关键词: 贪心EM算法 机器学习 数据挖掘 MapReduce框架
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 智能算法
• 页码范围: 84-87,92
• 页数: 5页
• 分类号: TP301.6
• 字数: 4202字
• 语种: 中文
• DOI: 10.19358/j.issn.2096-5133.2018.05.020

摘要

针对一种贪心EM算法在处理大规模数据集时收敛速度急剧减慢的问题,提出了一种基于MapReduce的贪心EM算法.该算法首先通过Map(映射)实现数据分发,对每个节点进行处理并生成相应的键值对,然后利用Reduce(归约)将生成的键值对进行整合,最终通过获取最优的高斯混合模型,进而得到模型成分数.通过与传统EM算法、贪心EM算法的运算结果进行比较,实验结果证明该算法在保证准确获取高斯混合模型的模型成分数的前提下,明显地提高了收敛速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴观茂	安徽理工大学计算机科学与工程学院	26	295	7.0	17.0
2	曹家庆	安徽理工大学计算机科学与工程学院	1	1	1.0	1.0