HDAS：异构集群上Hadoop＋框架中的动态亲和性调度

• 作者: 何文婷 冯晓兵 崔慧敏
• 来源期刊: 高技术通讯
• 关键词: MapReduce 异构 Hadoop+ 亲和性 调度
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 计算机与通信
• 页码范围: 333-343
• 页数: 11页
• 字数: 8644字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2016.04.002

摘要

针对现有异构集群的编程框架着重于异构资源的利用，没有充分考虑共享资源竞争导致作业完成时间延长的情况，基于Hadoop＋框架和异构任务模型，提出并实现了异构动态亲和性调度（ HDAS）算法，该算法利用Hadoop的心跳机制监测各结点上的资源使用情况和实时负载，对系统中的异构资源用不同的策略计算与任务的亲和性，进行任务分派，使系统的资源利用更充分，从而降低共享资源竞争导致的任务延迟，提高系统的整体吞吐率，且提交到系统中的应用都会在启动后一定时间内被执行。对25种混合负载的试验表明，Hadoop＋框架使用HDAS相对于Hadoop的实现可获得平均21.9 x的加速比，明显优于基于异构任务模型的调度策略（17.9x），并使其中21个负载的任务平均延迟不超过6％，在任务对系统资源需求多样性丰富的混合负载上优化效果明显。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯晓兵	中国科学院计算机体系结构国家重点实验室	42	186	7.0	11.0
5	何文婷	中国科学院计算机体系结构国家重点实验室	4	9	2.0	3.0
14	崔慧敏	中国科学院计算机体系结构国家重点实验室	6	10	2.0	2.0