基于迭代MapReduce的混合云大数据分析

• 作者: 颜烨 张学文 王立婧
• 来源期刊: 计算机工程与设计
• 关键词: 混合云 大数据分析 迭代MapReduce 数据迁移 随机森林算法 性能预测
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 软件与算法|Software and Arithmetic
• 页码范围: 1028-1035
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2021.04.019

摘要

现有混合云平台运行大数据分析等数据密集型工作负载存在数据迁移开销大、执行时间长等问题,提出基于迭代MapReduce的大数据分析方法.提出一种数据存储和数据迁移机制,迭代时将初始不变量从私有云迁移至公有云,无需修改MapReduce框架或底层存储层;利用随机森林估计所提迭代MapReduce应用程序所需的计算时间.OpenStack混合云实验结果表明,相比传统方案,提出方法仅增加了初始迭代的运行时间,最终完成时间比传统方法节约12.6％以上.此外,提出的性能预测方法的误差率可保持在19.54％以内.