一种Yarn框架下的异步双随机梯度下降算法

• 作者: 张力 杨双涛 窦保媛 马志强
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 异步随机梯度下降 数据并行 多核系统 主从架构 Yarn
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 人工智能与算法研究
• 页码范围: 1070-1075
• 页数: 6页
• 分类号: TP391
• 字数: 6662字
• 语种: 中文

摘要

针对异步随机梯度下降算法在多核系统和主/从集群环境中的通信冲突问题,提出了异步双随机梯度下降算法.该算法主要通过离散各从节点在梯度求解时的计算量,分散各从节点对主节点的通信请求,有效减少模型训练过程中通信冲突次数,从而加快模型的训练速度;在Hadoop Yarn基础上提出了异步并行计算框架,进行了异步随机梯度下降算法以及异步双随机梯度下降算法的快速求解;在多核系统和Hadoop环境下,基于HIGGS数据集进行了异步随机梯度下降算法和异步双随机梯度下降算法的对比实验,结果表明,在保证模型准确率的前提下,异步双随机梯度下降算法比异步随机梯度下降算法具备更快的训练速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马志强	内蒙古工业大学信息工程学院	37	171	8.0	10.0
2	窦保媛	内蒙古工业大学信息工程学院	4	11	3.0	3.0
3	张力	内蒙古工业大学信息工程学院	6	11	2.0	3.0
4	杨双涛	内蒙古工业大学信息工程学院	7	27	3.0	5.0