基于天河2高速互连网络实现混合层次文件系统H2FS高速通信

• 作者: 卢宇彤 周恩强 张伟 董勇
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 混合层次文件系统 H2FS FSE 天河2高速互连网络
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 高性能计算
• 页码范围: 1961-1979
• 页数: 19页
• 分类号: TP316
• 字数: 17572字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2017.01961

摘要

高效通信性能是影响并行文件系统性能与效率的重要因素.该文基于TH-2系统的高性能互连网络——天河2高速互连网络(TH-Express 2),设计并实现了混合层次文件系统H2FS中的高速通信模块FSE.FSE采用了TH-Express 2的短报文通信MP和远程内存访问RDMA相结合的方式,实现客户端与ION的通信.FSE采用基于动态链表的内存注册池减少通信延迟,提高通信效率.基于可变信用的流量控制,FSE有效降低系统出现拥塞的可能性,提高系统的可扩展性和稳定性.为了充分利用多核处理器的并发处理能力以及多RDMA引擎的传输能力,FSE对报文传输和数据处理功能采用了多维多线程方式,提高数据访问带宽.FSE的自适应端点管理针对通信端点容错能力设计,提高了系统弹性,有助于增强系统稳定性.FSE实现优化了数据传输效率,实现了低延迟、高带宽、高可扩展数据访问.在两个不同实际系统上的测试结果表明,FSE可以充分发掘TH-Express 2的特性,点点数据访问带宽可达8.6 Gbps,使得H2 FS具有较高的数据访问带宽和元数据性能,并具有良好的可扩展性.同基于TCP的通信模块实现相比,FSE的读写延迟可低至55％和20％,最大单ION写性能是其3.3倍;同Lustre文件系统相比,FSE更好地利用了高速网的特性来获取较高性能,写延迟可低至其28.6％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周恩强	国防科学技术大学计算机学院	12	106	6.0	10.0
3	张伟	国防科学技术大学计算机学院	20	53	5.0	6.0
9	董勇	国防科学技术大学计算机学院	3	6	2.0	2.0
13	卢宇彤	中山大学国家超算广州中心	5	27	3.0	5.0