基于分布式内存计算的深度学习方法

• 作者: 李抵非 田地 胡雄伟
• 来源期刊: 吉林大学学报（工学版）
• 学科: 工学
• 关键词: 人工智能 并行深度学习 分布式内存计算 深信度网络
• 年，卷（期）: 2015,（3）
• 页码范围: 921-925
• 页数: 5页
• 分类号: TP183
• 字数: 3168字
• 语种: 中文
• DOI: 10.13229/j.cnki.jdxbgxb201503034

摘要

为了提升深度学习技术并行化学习效率,设计了一种面向计算机集群的分布式内存计算方法.构建分布式内存环境,建立数据分片处理和多任务调度机制,使模型参数和神经元节点的计算和存储并行运行于该环境中,避免了磁盘I/O对训练速率的影响;采用深度信念网络模型,以多个副本异步并行计算的方式进行模型训练,并使用dropout方法防止模型训练过拟合.对CIFAR-10图像数据集进行分类训练,试验结果表明,该方法可以明显提高深度神经网络的训练效率,并具备良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	田地	吉林大学仪器科学与电气工程学院	94	882	13.0	26.0
2	胡雄伟	国家标准化管理委员会标准信息中心	6	121	5.0	6.0
3	李抵非	吉林大学仪器科学与电气工程学院	2	17	2.0	2.0