神经网络中处理鞍点的LMBP改进算法

• 作者: 李桂愉 李炯城 肖恒辉
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 神经网络 Levenberg-Marquardt反向传播算法 鞍点 雅克比矩阵 海森矩阵 高斯-牛顿法
• 年，卷（期）: 2012,（23）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 173-176,180
• 页数: 5页
• 分类号: TP301.6
• 字数: 3750字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2012.23.043

摘要

针对目前神经网络中的Levenberg-Marquardt反向传播(LMBP)算法在训练过程中有可能迭代到鞍点的问题,提出一种能有效克服鞍点的LMBP改进算法.计算鞍点处雅克比矩阵的正特征值对应的特征向量并将共作为新的搜索方向.通过实例对比传统LMBP算法与改进LMBP算法的效果,证明改进的算法能有效地脱离鞍点并进一步收敛到极小点处.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李炯城	广东省电信规划设计院有限公司广州市无线网络优化重点工程中心	18	61	6.0	6.0
2	肖恒辉	广东省电信规划设计院有限公司广州市无线网络优化重点工程中心	18	64	6.0	6.0
3	李桂愉	广东省电信规划设计院有限公司广州市无线网络优化重点工程中心	8	31	4.0	5.0