神经网络中LMBP算法收敛速度改进的研究

• 作者: 李炯城 黄汉雄
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: BP算法 Levenberg-Marquardt算法 LU分解
• 年，卷（期）: 2006,（16）
• 所属期刊栏目: 学术探讨
• 页码范围: 46-49,95
• 页数: 5页
• 分类号: TP183
• 字数: 4855字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2006.16.016

摘要

文章对标准BP算法收敛慢的问题进行了分析,并针对其目前最快的改进版本Levenberg-Marquardt BP(LMBP)进行了深入研究,发现其中涉及的矩阵[JTJ+μkI]求逆是其收敛速度的瓶颈.通过使用LU分解法去除耗时的矩阵求逆运算,极大地减少了LMBP的计算量.此外,简化求增广Marquardt Sensitivity矩阵的步骤,也在一定程度上减少了LMBP的计算量.笔者用Microsoft Visual C++6编程实现了改进后的LMBP算法,发现对这两方面的改进,大大提高了收敛速度.文章对Matlab的基于最速下降的BP算法(Traingdx)、Matlab改进的LMBP算法(Trainlm)、LMBP和作者改进的LMBP(ILMBP)进行了大量的试验.结果发现,ILMBP的平均收敛速度比LMBP快约23倍,比Trainlm算法快约9倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄汉雄	华南理工大学工业装备与控制工程学院	129	846	14.0	19.0
2	李炯城	华南理工大学工业装备与控制工程学院	5	126	4.0	5.0