可扩展机器学习的并行与分布式优化算法综述

• 作者: 亢良伊 刘杰 叶丹 王建飞
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 机器学习 优化算法 并行算法 分布式算法
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 109-130
• 页数: 22页
• 分类号: TP181
• 字数: 21013字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005376

摘要

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用,针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法这5类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每种算法进行详细对比.随后,对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时,对所介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	叶丹	中国科学院软件研究所软件工程技术研发中心	26	397	10.0	19.0
2	王建飞	中国科学院软件研究所软件工程技术研发中心	9	197	6.0	9.0
6	亢良伊	中国科学院软件研究所软件工程技术研发中心	2	24	2.0	2.0