深度神经网络训练中梯度不稳定现象研究综述

• 作者: 向阳 陈建廷
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 深度神经网络 梯度不稳定现象 梯度衰减 梯度爆炸
• 年，卷（期）: 2018,（7）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 2071-2091
• 页数: 21页
• 分类号: TP183
• 字数: 16551字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005561

摘要

深度神经网络作为机器学习领域的热门研究方向,在训练中容易出现梯度不稳定现象,是制约其发展的重要因素,控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究内容.分析了梯度不稳定现象的成因和影响,并综述了目前解决梯度不稳定现象的关键技术和主要方法.最后展望了梯度不稳定现象的未来研究方向.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	向阳	同济大学电子信息与工程学院	88	1316	16.0	34.0
2	陈建廷	同济大学电子信息与工程学院	1	31	1.0	1.0