一个轻量级分布式机器学习系统的设计与实现

• 作者: 宋匡时 张士波 李翀
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 机器学习系统 分布式系统 并行计算 集合通信 模块化
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 体系结构与软件技术
• 页码范围: 201-207
• 页数: 7页
• 分类号: TP18
• 字数: 5870字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0054014

摘要

为满足大规模机器学习系统高定制化、低耦合与低资源消耗的需求,设计并实现一个轻量级分布式机器学习系统.采用模块化分层设计并移植多种主流的机器学习与深度学习算法,同时提出参数服务器与动态 Ring-AllReduce 2种可扩展梯度同步方案,对算法模型进行并行训练加速.实验结果表明,该系统对于稀疏与稠密模型均有较好的扩展性与稳定性,参数服务器训练可达到与单机相近的准确率与收敛效果,Ring-AllReduce也能在8 节点模型上实现相对单节点模型6 倍的训练加速.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李翀	中国科学院计算机网络信息中心	31	119	6.0	8.0
2	宋匡时	中国科学院计算机网络信息中心	1	0	0.0	0.0
6	张士波	中国科学院计算机网络信息中心	3	24	2.0	3.0