一种基于共轭梯度法的广义单隐层神经网络

• 作者: 孙峰 张炳杰 柳毓松 王延江 龚晓玲
• 来源期刊: 郑州大学学报（工学版）
• 学科: 工学
• 关键词: 神经网络 反向传播 超限学习机 共轭梯度法 MNIST
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 智能计算
• 页码范围: 28-32
• 页数: 5页
• 分类号: TP389.1
• 字数: 4243字
• 语种: 中文
• DOI: 10.13705/j.issn.1671-6833.2017.05.011

摘要

单隐层前馈神经网络是一种高效且结构简单的神经网络,它的一种典型的学习算法就是误差反向传播(error back propagation,BP)算法.这种算法基于最速下降法原理,主要缺点是学习速度过慢.超限学习机(extreme learning machine,ELM)极大地优化了单隐层神经网络的学习速度,却需要更多的隐层单元来达到与BP网络相当的效率,这不可避免地使网络结构冗余、测试时间变长.受到一种结合了ELM和最速下降法思想的USA(upper-layer-solution-aware)算法的启发,提出一种基于共轭梯度法的单隐层神经网络快速算法,并把它应用于不同数据库中.试验结果表明,在相同网络结构情况下,本算法的效率要优于ELM和USA算法.