大权值抑制策略用于训练卷积神经网络

• 作者: 何宇峰 王翼新 范纯龙
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 卷积神经网络 权值参数 抑制系数 泛化能力 鲁棒性
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 115-119
• 页数: 5页
• 分类号: TP18
• 字数: 4812字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1809-0175

摘要

卷积神经网络(Convolutional Neural Network,CNN)是深度学习研究的重要方向,因其模型复杂且训练困难,所以设计更好的CNN训练方法一直是研究热点.针对训练好的CNN模型,分析了其参数权值对训练结果的影响,确认权值越大的连接参数对模型性能的影响也越大,且整个模型的性能主要由极少数的大权值参数决定.据此,提出了CNN的权值抑制训练方法(Weight Restrain of CNN,WR-CNN),该方法调整了模型训练时的权值更新策略,设置一个与权值大小相关的抑制系数,用该系数调整反向传播时的权值增量幅度,达到控制大权值连接参数分布的目的.在不同实验条件下,该方法将CNN模型的错误率降低1.8％～5.0％,模型对大权值参数的敏感性明显降低,模型泛化能力和鲁棒性均得到改善,另外,该方法也可用于对已训练好的网络模型进行再优化.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	范纯龙	沈阳航空航天大学计算机学院	24	78	4.0	8.0
2	何宇峰	沈阳航空航天大学计算机学院	2	0	0.0	0.0
3	王翼新	沈阳航空航天大学计算机学院	1	0	0.0	0.0