基于垃圾回收的MapReduce作业内存调优

• 作者: 王煜骢 罗永刚 陈兴蜀
• 来源期刊: 四川大学学报（工程科学版）
• 学科: 工学
• 关键词: MapReduce Hadoop Java虚拟机 垃圾回收 资源优化
• 年，卷（期）: 2015,（6）
• 所属期刊栏目: 信息工程
• 页码范围: 104-112
• 页数: 9页
• 分类号: TP309
• 字数: 7524字
• 语种: 中文
• DOI: 10.15961/j.jsuese.2015.06.015

摘要

针对合理管理MapReduce作业内存资源困难的问题,提出评估方法并给出优化配置建议.首先分析Java虚拟机的内存分配与垃圾回收的原理,给出垃圾回收重要指标;其次提出内存分配合理性评估的3种指标和评估方法;最后根据评估结果给出2种优化配置建议:一是通过使用聚类算法和统计信息来估计晋升对象大小阈值,优化Java虚拟机的对象分配和垃圾回收性能;二是使用回归模型和搜索算法来预测作业合理的内存配置.实验结果表明,提出的方法能自动发现作业内存配置的不足并给出优化的配置建议.与采用机器学习方法相比,提出的方法不需要运行大量的测试,因此该方法能很好适用于MapReduce的生产集群环境.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学计算机学院网络与可信计算研究所	117	695	14.0	21.0
2	罗永刚	四川大学计算机学院网络与可信计算研究所	15	68	4.0	7.0
3	王煜骢	四川大学计算机学院网络与可信计算研究所	3	3	1.0	1.0