一种基于分布式编码的同步梯度下降算法

• 作者: 李博文 谢在鹏 毛莺池 徐媛媛 朱晓瑞 张基
• 来源期刊: 计算机工程
• 关键词: 神经网络 深度学习 分布式编码 梯度下降 通信负载
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 人工智能与模式识别|Artificial Intelligence and Pattern Recognition
• 页码范围: 68-76,83
• 页数: 10页
• 分类号: TP311
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0057340

摘要

基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率.提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量.实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97％、26.89％和39.11％、26.37％的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度.