异构环境下自适应的Map-Reduce调度

• 作者: 邓倩妮 陈全
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Map-Reduce 异构环境 调度算法 自适应
• 年，卷（期）: 2009,（z1）
• 所属期刊栏目: 高性能计算机系统软件与计算环境
• 页码范围: 168-171,175
• 页数: 5页
• 分类号: TP302
• 字数: 4958字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2009.A1.047

摘要

本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式.通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务.并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源.最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邓倩妮	上海交通大学计算机科学与工程系	25	1271	7.0	25.0
2	陈全	上海交通大学计算机科学与工程系	4	1180	3.0	4.0