减少Hadoop集群中网络队头阻塞的调度算法

• 作者: 田冰川 田臣 周宇航 陈贵海 窦万春
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: Hadoop集群 队头阻塞 网络调度 任务调度
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 新兴分布式计算技术与系统|Novel Distributed Computing Technology and System
• 页码范围: 11-22
• 页数: 12页
• 分类号: TP393
• 语种: 中文
• DOI: 10.11896/jsjkx.210900117

摘要

大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成.通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30％～76.16％.