一种Mapreduce作业内存精确预测方法

• 作者: 杨露 罗永刚 陈兴蜀
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: 垃圾回收 Java虚拟机 mapreduce 资源管理
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 986-991
• 页数: 6页
• 分类号: TP393.08
• 字数: 4876字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0548.2016.06.019

摘要

针对准确预测mapreduce作业内存资源需求困难的问题，根据Java虚拟机(JVM)的分代(JVM将堆内存划分为年轻代和年长代)内存管理特点，该文提出一种分代内存预测方法。建立年轻代大小与垃圾回收时间的模型，将寻找合理年轻代大小的问题转换为一个受约束的非线性优化问题，并设计搜索算法求解该优化问题。建立mapreduce作业的map任务和reduce任务性能与内存的关系模型，求解最佳性能的内存需求，从而获得map任务和reduce任务的年长代内存大小。实验结果表明，本文提出的方法能准确预测作业的内存需求；与默认配置相比，能提供平均6倍的性能提升。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学网络空间安全研究院	117	695	14.0	21.0
2	罗永刚	四川大学网络空间安全研究院	15	68	4.0	7.0
3	杨露	四川大学网络空间安全研究院	18	96	6.0	9.0