卷积神经网络并行方法研究

• 作者: 刘鑫 方佳瑞 朱传家
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 卷积神经网络 并行方法 数据并行 模型并行 国产超级计算机系统
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 算法
• 页码范围: 209-214
• 页数: 6页
• 分类号: TP3
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.11.035

摘要

随着训练数据集的增大和神经网络的日益复杂,训练深度神经网络非常耗时,在有效的时间内训练深度神经网络成为一大挑战.卷积神经网络具有网络参数分布不均匀的特点.提出一种同时使用数据并行和模型并行的卷积神经网络并行方法,并基于国产超级计算机系统和深度学习框架Caffe进行实验.实验结果表明,对某些全连接层,使用模型并行相比使用数据并行加速可达33倍.