面向超大规模计算系统的监控、调度及网络优化实践

• 作者: 万伟 吉青 戴荣 李斌 王家尧 王志鹏 秦晓宁 胡梦龙 苏勇
• 来源期刊: 数据与计算发展前沿
• 关键词: 计算 监控 作业调度 网络
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 专刊:高性能与高通量计算及应用
• 页码范围: 55-69
• 页数: 15页
• 字数: 10928字
• 语种: 中文
• DOI: 10.11871/jfdc.issn.2096-742X.2020.01.005

摘要

[目的]为应对超大规模计算系统所带来的监控数据风暴、作业调度稳定性及灵活性、网络复杂度及高效性等实际挑战,本文分享了近期真实实践的经验和解决办法.[应用背景]当计算系统从P级逐渐向E级过渡,节点数量可超过10000个.在计算系统设计之初就需要确定网络拓扑的选型,而在系统的具体使用中更是离不开高效的调度和及时的监控.[方法]本文采用了基于动态负载均衡的分布式监控架构设计,基于高速缓存的分布式告警架构设计,基于SLURM的源码和配置优化,以及nd-Torus网络拓扑仿真对比等相关技术手段,基本满足了实际业务使用需求.[结果]数据表明,对于～10000节点的计算系统,实时告警数据库表的数据量大小基本可以控制在100万条以内.优化后的SLURM调度系统,可满足系统的业务级调度需求.网络方面,6D-Torus网络由于网络直径低、平均通信距离短,性能和网卡线缆用量较Fat-Tree网络和3D-Torus有一定提升,饱和吞吐率超过40％.[结论]分布式监控架构和告警架构可以有效解决监控数据风暴问题.SLURM在优化后可以实现对超大规模计算系统的作业调度功能.就线缆和交换机使用数量而言,6D-Torus相对于传统Fat-Tree网络更加经济,且性能优于3D-Torus,更适合超大规模计算系统.