地理分布式机器学习:超越局域的框架与技术

• 作者: 李宗航 汪漪 虞红芳
• 来源期刊: 中兴通讯技术
• 关键词: 大数据 人工智能 地理分布式机器学习 梯度稀疏化
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 专题:网络人工智能技术
• 页码范围: 16-22
• 页数: 7页
• 语种: 中文
• DOI: 10.12142/ZTETJ.202005004

摘要

提出了一种面向地理分布式机器学习的软件框架GeoMX,该框架从通信架构和压缩传输机制两方面着手优化通信.对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小.GeoMX在跨广域分布的数据中心上最高可取得4倍于数据中心内MXNET的训练效率,且几乎无精度损失.