正则化参数求解方法研究

• 作者: 杨浩 马建红
• 来源期刊: 计算机测量与控制
• 关键词: BP神经网络 贝叶斯正则化 矩法估计 极大似然估计 方差 L2正则化
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 设计与应用
• 页码范围: 226-229
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2017.08.058

摘要

针对BP神经网络算法训练过程中出现的过拟合问题,提出了利用一阶原点矩,二阶原点矩,方差和极大似然估计概念的推广来计算L2正则化中正则化参数λ值的方法.该方法通过对算法数据集[X,Y]中的X矩阵进行运算得到的四个λ值,BP神经网络算法训练时通常采用的是贝叶斯正则化方法,贝叶斯正则化方法存在着对先验分布和数据分布依赖等问题,而利用上述概念的推广计算的参数代入L2正则化的方法简便没有应用条件限制;在BP神经网络手写数字识别的实验中,将该方法与贝叶斯正则化方法应用到实验中后的算法识别结果进行比较,正确率提高了1.14-1.50个百分点;因而计算得到的λ值应用到L2正则化方法与贝叶斯正则化方法相比更能使得BP神经网络算法的泛化能力强,证明了该算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马建红	河北工业大学计算机科学与软件学院	41	483	11.0	21.0
2	杨浩	河北工业大学计算机科学与软件学院	3	16	2.0	3.0