梯度下降法的分析和改进

• 作者: 宋旭东 郭跃东
• 来源期刊: 科技展望
• 关键词: 最速下降法 最优化 神经网络 线性回归 机器学习
• 年，卷（期）: 2016,（15）
• 所属期刊栏目: 技术与应用
• 页码范围: 115-115,117
• 页数: 2页
• 字数: 1964字
• 语种: 中文

摘要

梯度下降法可以应用于很多机器学习的训练过程中，但是收敛速度却不快。针对此研究了最优化搜索过程中，梯度下降法的收敛速度与其搜索步长的关系，并给出机器学习过程中梯度下降法的改进方法。研究发现，在最优化过程中步长是两个不同的值的交替循环；而且在下降过程中，如果步长适当，使得相邻两次搜索方向垂直，则搜索的收敛速度较快。针对这些特点进行改进，解决了学习率的确定方法，提出一种新的梯度下降法，通过求解线性回归问题分析了算法性能，结果表明通过改进大大地加快了算法的收敛速度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋旭东		38	216	8.0	13.0
2	郭跃东		1	40	1.0	1.0