带光滑L1/2正则化项的神经网络逆向迭代算法收敛性分析

• 作者: 杨喜峰 温艳青 王健 王兢 邵红梅 黄炳家
• 来源期刊: 中国石油大学学报(自然科学版)
• 关键词: 神经网络 梯度法 逆向迭代算法 单调性 正则化 收敛性
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 自动控制与管理工程
• 页码范围: 164-170
• 页数: 7页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1673-5005.2015.02.026

摘要

L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难.用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质.针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛.数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王健	中国石油大学理学院	121	652	15.0	22.0
3	王兢	大连理工大学电信学部	81	398	9.0	14.0
6	邵红梅	中国石油大学理学院	4	28	3.0	4.0
7	黄炳家	中国石油大学理学院	5	14	1.0	3.0
8	杨喜峰	中国石油大学理学院	7	24	3.0	4.0
9	温艳青	中国石油大学理学院	1	13	1.0	1.0