一种基于混合误差梯度下降算法的过程神经网络训练

• 作者: 宋美玲 朱新宁 许少华 许辰
• 来源期刊: 东北石油大学学报
• 学科: 工学
• 关键词: 过程神经元网络 算法效率 牛顿迭代法 梯度下降法 混合误差梯度下降算法
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 计算机与自动化工程
• 页码范围: 92-96
• 页数: 5页
• 分类号: TP183
• 字数: 4034字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-4107.2014.04.014

摘要

针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题,提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法.在训练初始阶段,基于网络训练目标函数,采用梯度下降法进行迭代寻优,只需计算目标函数一阶导数数值公式,复杂度低且误差下降快;当梯度下降法学习效率降低时,引入牛顿迭代法,并将梯度下降法的训练结果作为初始参数代入目标函数,使问题转化为求解非线性方程组,不需要一维搜索而提高网络训练效率.通过学习效率分析自适应调节两种算法的切换,直至满足停机条件.将其应用于时变信号模式分类,实验结果表明,该算法较大地提高PNN训练效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许少华	东北石油大学计算机与信息技术学院	52	329	11.0	15.0
2	宋美玲	东北石油大学计算机与信息技术学院	2	26	1.0	2.0
3	许辰	东北石油大学计算机与信息技术学院	4	33	2.0	4.0
4	朱新宁	东北石油大学计算机与信息技术学院	2	26	1.0	2.0