用于神经网络权值稀疏化的L1/2正则化方法

• 作者: 吴微 杨洁
• 来源期刊: 中国科学（数学）
• 关键词: 神经网络 稀疏化 L1/2正则化
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 综述
• 页码范围: 1487-1504
• 页数: 18页
• 语种: 中文
• DOI: 10.1360/N012015-00110

摘要

在保证适当学习精度前提下,神经网络的神经元个数应该尽可能少(结构稀疏化),从而降低成本,提高稳健性和推广精度.本文采用正则化方法研究前馈神经网络的结构稀疏化.除了传统的用于稀疏化的L1正则化之外,本文主要采用近几年流行的L1/2正则化.为了解决L1/2正则化算子不光滑、容易导致迭代过程振荡这一问题,本文试图在不光滑点的一个小邻域内采用磨光技巧,构造一种光滑化L1/2正则化算子,希望达到比L1正则化更高的稀疏化效率.本文综述了近年来作者在用于神经网络稀疏化的L1/2正则化的一些工作,涉及的神经网络包括BP前馈神经网络、高阶神经网络、双并行前馈神经网络,以及Takagi-Sugeno模糊模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴微		22	481	8.0	21.0
2	杨洁		9	17	2.0	4.0