大规模短时间任务的低延迟集群调度框架

• 作者: 赵全 汤小春 朱紫钰 毛安琪 李战怀
• 来源期刊: 计算机应用
• 关键词: 低延迟 分布式调度 两阶段调度 负载平衡 贪心调度
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 第八届CCF大数据学术会议|CCF Bigdata 2020
• 页码范围: 2396-2405
• 页数: 10页
• 分类号: TP311.13
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020101566

摘要

大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务.如何调度这些低延迟要求的并发作业是目前研究的一个热点.现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足.从大规模实时作业的需求出发,设计和实现了一个分布式的集群资源调度框架,以满足大规模数据处理的低延迟要求.首先提出了两阶段调度框架以及优化后的两阶段多路调度框架;然后针对两阶段多路调度过程中存在的一些资源冲突问题,提出了基于负载平衡的任务转移机制,从而解决了各个计算节点的负载不平衡问题;最后使用实际负载以及一个模拟调度器对大规模集群中的任务调度框架进行了模拟和验证.对于实际负载,所提框架的调度延迟控制在理想调度的12％以内;在模拟环境下,该框架与集中式调度器相比在短时间任务的延迟上能够减少40％以上.