Angel+:基于Angel的分布式机器学习平台

• 作者: 余乐乐 崔斌 张智鹏 江佳伟
• 来源期刊: 数据与计算发展前沿
• 关键词: 分布式机器学习平台 参数服务器 大数据处理系统 分布式机器学习系统
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 专刊:数据与计算平台
• 页码范围: 63-72
• 页数: 10页
• 字数: 7430字
• 语种: 中文
• DOI: 10.11871/jfdc.issn.2096-742X.2019.01.007

摘要

[目的]随着大数据时代的来临,数据变得高维、稀疏,机器学习模型也变得复杂、高维,因此也给分布式机器学习系统带来了很多挑战.尽管研究人员已经开发了很多高性能的机器学习系统,比如TensorFlow、PyTorch、XGBoost等,但是这些系统存在以下两个问题:(1)不能与现有的大数据系统很好的结合;(2)不够通用,这些系统往往是为了某一类机器学习算法设计.[方法]为了解决以上两个挑战,本文介绍Angel+:一个基于参数服务器架构的分布式机器学习平台.[结果]Angel+能够高效的支持现有的大数据系统以及机器学习系统——依赖于参数服务器处理高维模型的能力,Angel+能够以无侵入的方式为大数据系统(比如Apache Spark)提供高效训练超大机器学习模型的能力,并且高效的运行已有的分布式机器学习系统(比如PyTorch).此外,针对分布式机器学习中通信开销大和掉队者问题,Angel+也提供了模型平均、梯度压缩和异构感知的随机梯度下降解法等.[结论]笔者结合Angel+开发了很多高效、易用的机器学习模型,并且通过实验验证了Angel+平台的高效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	江佳伟		1	0	0.0	0.0
2	余乐乐		1	0	0.0	0.0