前馈神经网络的梯度-牛顿耦合学习算法

• 作者: 孙开盛 梁久祯 黄德双 黄晓萍
• 来源期刊: 大庆石油学院学报
• 学科: 工学
• 关键词: 前馈神经网络 梯度-牛顿耦合学习算法 收敛性 一维搜索
• 年，卷（期）: 2000,（2）
• 所属期刊栏目: 计算机科学
• 页码范围: 42-46
• 页数: 6页
• 分类号: TP18
• 字数: 4775字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-4107.2000.02.012

摘要

针对前馈神经网络所使用的学习算法应具有收敛速度快、计算复杂度小、稳定性好的特点,利用梯度算法在网络学习初始阶段可使误差函数下降速度快,而牛顿法在学习后期可使收敛率提高,且具有二阶收敛速度,提出了一种梯度-牛顿耦合学习算法;该方法充分发挥了两种算法各自的特长,能弥补牛顿法在网络学习初始阶段对学习初值的敏感性和梯度算法在学习后期的震荡现象等不足;给出了学习速度参数在线优化、带保护的拟牛顿法、梯度-牛顿竞争法以及梯度-牛顿分段等4种确定学习参数的方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄德双		6	59	3.0	6.0
2	黄晓萍		1	5	1.0	1.0