混部数据中心负载特征及其任务调度优化分析

• 作者: 万健 任祖杰 俞俊 张纪林 林江彬 王济伟 葛浙奉 蒋从锋 闫龙川
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 混部数据中心 负载特性 在线服务 批处理作业 调度
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 高性能计算
• 页码范围: 8-17
• 页数: 10页
• 分类号: TP393
• 字数: 7984字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2020.01.002

摘要

随着现代互联网数据中心的规模越来越大,数据中心面临着能耗、可靠性、可管理性与可扩展性等方面的挑战.同时,数据中心承载的服务多样,既有在线Web服务,也有离线批处理任务.在线任务要求较低的延迟,而离线任务要求较高的吞吐量.为了提高服务器利用率,降低数据中心能耗,当前数据中心往往将在线任务和离线任务混合部署到同一个计算集群中.在混部场景下,如何同时满足在线和离线任务的不同要求,是目前面临的关键挑战.分析了阿里巴巴于2018年发布的含有4034台服务器的混部计算集群在8天内的日志数据(cluster-trace-v2018),从静态配置信息、动态混部运行状态、离线批处理作业DAG依赖结构等出发,揭示其负载特征,包括任务倾斜与容器部署的相关关系等,根据任务依赖关系与关键路径,提出了相应的任务调度优化策略.