面向混合异构架构的模型并行训练优化方法

• 作者: 高开 郭振华 陈永芳 王丽 赵雅倩 赵坤
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 混合异构 模型并行 微批次 设备差异
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 高性能计算
• 页码范围: 42-48
• 页数: 7页
• 分类号: TP393.027
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2021.01.006

摘要

随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型的重要性不断提高.数据并行(DP)是应用最广泛的并行化策略,但是如果数据并行训练中的设备数量不断增加,设备之间的通信开销就会成为瓶颈.此外,每个步骤因设备性能差异处理的批总量不同会导致精度损失,即需要更长的训练周期以收敛到期望的精度.这些因素会影响整体训练时间,并且会影响某些设备的运行效率.除了数据并行(DP),每个训练步骤都可以通过模型并行(M P)来加速.提出了一种适合混合异构平台的模型并行训练优化算法.首先,为解决混合异构平台中设备性能分布不均问题,提出了层级并行和通道并行混合的模型并行划分策略,同时通过合并一些性能偏低的设备来减少流水线的长度和缓解通信压力.然后为了优化设备间的流水效果,通过分析流水线建立时间占比和设备性能利用率对整体训练时间的影响,提出了一种可以使两者达到均衡状态的微批次划分方法.实验表明,通过本文方法优化之后的模型并行流水训练算法比传统的模型并行算法具有更好的加速比,在单一类型设备的异构平台上的训练性能加速比提升4％ 左右,在混合异构平台的训练性能加速比要比没有使用优化方法之前提升7％ 左右.