混部数据中心在线离线服务特征分析

• 作者: 陈圣蕾 裘翼滔 蒋从锋 张纪林 俞俊 林江彬 闫龙川 任祖杰 万健
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 数据中心 工作负载特性 在线服务 离线任务 调度
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 数据库技术|Database Technology
• 页码范围: 822-834
• 页数: 13页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.2009098

摘要

为了在降低成本和减少能耗的同时提高云数据中心的资源利用率,目前许多云数据中心都采用了在线服务和离线任务混合部署的方式.虽然混合部署的方式能为数据中心带来许多益处,但它增加了任务调度的复杂性,同时对保障服务的高可靠、低延迟带来了一系列的挑战.深入分析了阿里巴巴数据中心中某一个含有4034台服务器的集群在8天时间内所有在线服务和离线任务的运行状况.从数据分析结果中得出以下结论:首先,从在线服务的运行情况来看,所有容器的平均CPU利用率存在周期性变化,在每天的早8点到晚9点维持在一个较高水平,并且在每天凌晨4点回落到最低点.其次,对离线任务来说,除去第一天和第八天,剩下6天中任务提交峰值都集中在每天的同一时刻.95％实例的运行时间都在199 s以内,但是有0.052％的实例运行时间在1h以上甚至会持续几天.然后,对于应用程序的相关情况,不同应用部署的容器数量存在较大差异,一个应用最多使用629个容器,最少使用1个容器.最后,对服务器、在线任务以及批处理实例进行了聚类分析,相对高资源利用率的容器占了所有容器的绝大部分,低资源利用率、短执行时间的实例则占了总实例的绝大部分.提出的发现和建议有助于数据中心管理者更详细地了解工作负载的特性,从而提高数据中心的资源利用率和各任务的容错性.