Hadoop中Reduce作业动态调度算法

• 作者: 张为华 张勇 杜江 邰铭 隋然
• 来源期刊: 信息工程大学学报
• 学科: 工学
• 关键词: Hadoop MapReduce 动态调度算法
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 计算机技术及应用
• 页码范围: 83-87,96
• 页数: 6页
• 分类号: TP393
• 字数: 3372字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-0673.2016.01.016

摘要

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本.Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态.提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率.实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3％.与系统默认参数相比shuffle阶段时间缩短了43.6％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张为华	复旦大学并行处理研究所	33	234	7.0	14.0
2	隋然		7	5	1.0	2.0
3	张勇		3	10	1.0	3.0
4	邰铭		11	67	3.0	8.0
5	杜江		2	2	1.0	1.0