Hadoop节点资源参数优化策略

• 作者: 曾婉琳 罗永刚 陈兴蜀
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Hadoop集群 MapReduce框架 参数优化 资源利用率 执行效率 特征库 相对距离
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 先进计算
• 页码范围: 1-6
• 页数: 6页
• 分类号: TP301
• 字数: 5038字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.01.001

摘要

针对Hadoop平台的节点资源优化问题,提出MapReduce参数优化策略.获取新作业执行时的资源占用特征值,计算其与作业特征库中作业的相对距离,选择相对距离最小作业的配置作为新作业的最优配置,如果获取失败,则以迭代方式获取新作业的最优配置并更新作业特征库.实验结果表明,与默认参数配置相比,该策略能够提高作业执行效率,缩短作业运行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学计算机学院	117	695	14.0	21.0
2	曾婉琳	四川大学计算机学院	1	4	1.0	1.0
3	罗永刚	四川大学计算机学院	15	68	4.0	7.0