深度神经网络并行化研究综述

• 作者: 侯彪 朱虎明 李佩 杨淑媛 焦李成
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 深度神经网络 并行计算 异构计算 模型并行 数据并行
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 数据科学与工程
• 页码范围: 1861-1881
• 页数: 21页
• 分类号: TP18
• 字数: 19414字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2018.01861

摘要

神经网络是人工智能领域的核心研究内容之一.在七十年的发展历史中,神经网络经历了从浅层神经网络到深度神经网络的重要变革.深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力,在自然语言处理、自动驾驶、图像分析等问题上相较浅层模型具有显著优势.随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,并行化成为增强其应用时效性的重要技术手段.近年来计算平台的硬件架构更新迭代,计算能力飞速提高,特别是多核众核以及分布式异构计算平台发展迅速,为深度神经网络的并行化提供了硬件基础;另一方面,日趋丰富的并行编程框架也为计算设备和深度神经网络的并行化架起了桥梁.该文首先介绍了深度神经网络发展背景和常用的计算模型,然后对多核处理器、众核处理器和异构计算设备分别从功耗、计算能力、并行算法的开发难度等角度进行对比分析,对并行编程框架分别从支持的编程语言和硬件设备、编程难度等角度进行阐述.然后以AlexNet为例分析了深度神经网络模型并行和数据并行两种方法的实施过程.接下来,从支持硬件、并行接口、并行模式等角度比较了常用的深度神经网络开源软件,并且通过实验比较和分析了卷积神经网络在多核CPU和GPU上的并行性能.最后,对并行深度神经网络的未来发展趋势和面临的挑战进行展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	焦李成	西安电子科技大学智能感知与计算国际合作联合实验室	514	14586	52.0	103.0
2	侯彪	西安电子科技大学智能感知与计算国际联合研究中心	25	1246	14.0	25.0
3	杨淑媛	西安电子科技大学智能感知与图像理解教育部重点实验室	20	1059	9.0	20.0
4	朱虎明	西安电子科技大学智能感知与图像理解教育部重点实验室	6	64	3.0	6.0
5	李佩	西安电子科技大学智能感知与计算国际联合研究中心	1	41	1.0	1.0