面向分布式机器学习的大消息广播设计

• 作者: 李振兴 谢彬 辛逸杰
• 来源期刊: 计算机系统应用
• 关键词: 深度学习 NCCL MPI_Bcast 管道链通信 拓扑感知 PCIe链路
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 专论·综述
• 页码范围: 1-13
• 页数: 13页
• 字数: 9654字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007246

摘要

MPI (Message Passing Interface)专为节点密集型大规模计算集群设计, 然而, 随着MPI+CUDA (Compute Unified Device Architecture)应用程序以及计算节点拥有GPU的计算机集群的出现, 类似于MPI的传统通信库已无法满足. 而在机器学习领域, 也面临着同样的挑战, 如Caff以及CNTK (Microsoft CognitiveToolkit)的深度学习框架, 由于训练过程中, GPU会缓存庞大的数据量, 而大部分机器学习训练的优化算法具有迭代性特点, 导致GPU间的通信数据量大, 通信频率高, 这些已成为限制深度学习训练性能提升的主要因素之一, 虽然推出了像NCCL (Nvidia Collective multi-GPU Communication Library)这种解决深度学习通信问题的集合通信库, 但也存在不兼容MPI等问题. 因此, 设计一种更加高效、符合当前新趋势的通信加速机制便显得尤为重要, 为解决上述新形势下的挑战, 本文提出了两种新型通信广播机制: (1)一种基于MPI_Bcast的管道链PC (Pipelined Chain)通信机制: 为GPU缓存提供高效的节点内外通信. (2)一种适用于多GPU集群系统的基于拓扑感知的管道链TA-PC (Topology-Aware Pipelined Chain)通信机制: 充分利用多GPU节点间的可用PCIe链路. 为了验证提出的新型广播设计, 分别在三种配置多样化的GPU集群上进行了实验: GPU密集型集群RX1、节点密集型集群RX2、均衡型集群RX3.实验中, 将新的设计与MPI+NCCL1 MPI_Bcast进行对比实验, 对于节点内通信和节点间的通信, 分别取得了14倍和16.6倍左右的性能提升; 与NCCL2的对比试验中, 小中型消息取得10倍左右的性能提升, 大型消息取得与其相当的性能水平, 同时TA-PC设计相比于PC设计, 在64GPU集群上实现50%左右的性能提升. 实验结果充分说明,提出的解决方案在可移植性以及性能方面有较大的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	辛逸杰		1	0	0.0	0.0
2	谢彬		7	23	2.0	4.0
3	李振兴		2	0	0.0	0.0