面向大规模集群的并行I/O用户层配置优化策略

• 作者: 景翠萍 武林平 田鸿运 罗红兵 莫则尧 董勇
• 来源期刊: 国防科技大学学报
• 学科: 工学
• 关键词: 并行I/O优化策略 Lustre文件系统 大规模集群 传输数据量 条带数
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 专题:高性能计算
• 页码范围: 23-30
• 页数: 8页
• 分类号: TP316
• 字数: 7937字
• 语种: 中文
• DOI: 10.11887/j.cn.202002003

摘要

影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置.从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法.基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化.基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15％,4096核的程序作业加载时间从10 min缩短到了5 s.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	莫则尧		77	493	13.0	16.0
2	武林平		14	38	4.0	5.0
3	罗红兵		18	48	4.0	6.0
4	董勇	国防科技大学计算机学院	6	5	1.0	2.0
5	景翠萍		3	2	1.0	1.0
6	田鸿运		3	5	1.0	2.0