基于虚拟化的多GPU深度神经网络训练框架

• 作者: 吴俊敏 尹燕 徐恒 杨志刚
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 虚拟化 深度神经网络 分布式 多机多GPU 数据并行 手写数字识别
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 体系结构与软件技术
• 页码范围: 68-74,83
• 页数: 8页
• 分类号: TP391
• 字数: 6725字
• 语种: 中文

摘要

针对深度神经网络在分布式多机多GPU上的加速训练问题,提出一种基于虚拟化的远程多GPU调用的实现方法.利用远程GPU调用部署的分布式GPU集群改进传统一对一的虚拟化技术,同时改变深度神经网络在分布式多GPU训练过程中的参数交换的位置,达到两者兼容的目的.该方法利用分布式环境中的远程GPU资源实现深度神经网络的加速训练,且达到单机多GPU和多机多GPU在CUDA编程模式上的统一.以手写数字识别为例,利用通用网络环境中深度神经网络的多机多GPU数据并行的训练进行实验,结果验证了该方法的有效性和可行性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴俊敏	中国科学技术大学计算机科学与技术学院	46	252	9.0	12.0
10	杨志刚	中国科学技术大学计算机科学与技术学院	16	66	5.0	7.0
11	尹燕	中国科学技术大学计算机科学与技术学院	7	33	4.0	5.0
12	徐恒	中国科学技术大学软件学院	4	13	2.0	3.0