卷积神经网络并行训练的优化研究

• 作者: 张玉龙 李晨 李相桥 田丽华
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 卷积神经网络 数据并行 通讯优化 数据加载优化
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 12-16
• 页数: 5页
• 分类号: TP183
• 字数: 4999字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.08.003

摘要

由于卷积神经网络模型结构复杂且计算量大,实际应用中一般采用多GPU的方式对其进行并行训练,快速地完成卷积神经网络的快速训练.为了提高卷积神经网络的并行训练效率,同时解决在并行训练时通讯缓慢以及数据加载时等待的问题,提出参数通讯以及数据加载两个方面的优化策略.在参数通讯优化方面,将梯度计算和参数通讯同时执行,利用计算时间来覆盖通讯时间.通过改变通讯方式,利用归约和冗余通讯方式减少参数通讯时的同步等待时间.利用预加载和异步拷贝的方式将数据提前加载并拷贝到GPU显存空间,减少数据加载带来的时间消耗.实验结果表明,优化后的方法能够有效地提高卷积神经网络的并行训练效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李晨	西安交通大学软件学院	47	175	7.0	11.0
2	田丽华	西安交通大学软件学院	25	83	5.0	8.0
3	张玉龙	西安交通大学软件学院	7	6	2.0	2.0
4	李相桥	西安交通大学软件学院	1	2	1.0	1.0