面向MapReduce的自适应延迟调度算法

• 作者: 吴庆波 宁文瑜 谭郁松
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 公平调度器 自适应 延迟调度 数据本地性
• 年，卷（期）: 2013,（3）
• 所属期刊栏目: 高性能计算
• 页码范围: 52-57
• 页数: 6页
• 分类号: TP393
• 字数: 6062字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2013.03.009

摘要

MapReduce已经成为主流的海量数据处理模式,调度作为其中的关键环节已受到业界的广泛关注.但是,已有的调度算法难以达到公平性和数据本地性之间的平衡,提出一种动态自适应的延迟调度算法,针对公平延迟调度算法静态设置延迟时间的不足,根据节点的释放速度动态调整作业的延迟等待时间,避免了节点释放速度快时,作业因静态延迟时间而进行的无效等待,从而减少了完成整个作业的响应时间.通过对基于Hadoop平台实现的原型系统的文本排序实验测试表明,自适应的延迟调度算法相比已有的延迟调度算法在作业响应时间方面提升5％～8％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴庆波	国防科学技术大学计算机学院	46	414	10.0	18.0
2	谭郁松	国防科学技术大学计算机学院	24	99	6.0	8.0
3	宁文瑜	国防科学技术大学计算机学院	1	16	1.0	1.0