基于"神威太湖之光"的Caffe分布式扩展研究

• 作者: 刘鑫 方佳瑞 朱传家
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 深度学习 分布式优化 Caffe 神威太湖之光
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 15-20
• 页数: 6页
• 分类号: TP311.52
• 字数: 4908字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.01.003

摘要

随着深度学习的快速发展,其规模越来越大,需要的计算越来越复杂.分布式扩展技术可以有效提高大规模数据的处理能力.基于神威太湖之光超算平台对深度学习框架Caffe进行分布式扩展研究,对比同步方式下参数服务器分布式扩展方法和去中心化的分布式扩展方法.实验表明,同步方式下,去中心化的分布式扩展方法相比参数服务器分布式扩展方法在通信效率方面具有明显的优势,对特定的模型通信性能提高可达98倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘鑫		19	73	5.0	8.0
2	朱传家		1	1	1.0	1.0
3	方佳瑞	清华大学计算机科学与技术系	1	1	1.0	1.0