并行科学计算应用中采样数据的聚集I/O

• 作者: 曹立强 罗红兵
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 科学计算 采样数据 并行I/O 性能优化 聚合缓存
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 高性能计算
• 页码范围: 1534-1539
• 页数: 6页
• 分类号: TP391
• 字数: 5702字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2018.09.002

摘要

采样数据的并行I/O制约一些并行应用的运行效率.设计、实现了采样数据的聚集并行I/O方法.该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件.为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据.I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率.测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行I/O效率7.5倍以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曹立强		16	42	4.0	6.0
2	罗红兵		18	48	4.0	6.0