新型拓扑感知的参数交换方案

• 作者: 万鑫晨 张骏雪 胡水海
• 来源期刊: 中兴通讯技术
• 关键词: 分布式机器学习 全局规约算法 参数交换方案
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 专题:网络人工智能技术
• 页码范围: 9-15
• 页数: 7页
• 语种: 中文
• DOI: 10.12142/ZTETJ.202005003

摘要

定义了一种新型拓扑感知的参数交换方案——弹性全局规约树(RAT).针对底层物理拓扑及其超额认购条件,RAT建立了一种树状规约模式,该模式指定了参数聚合模式,其中每个聚合节点负责在规约阶段聚合一个超额认购区域内的所有工作的梯度,并在广播阶段将更新传回给工作节点.实验表明,该方法能有效地减少跨超额认购区域流量,缩短依赖链.