一种简单的共享式多层梯度补给方法

• 作者: 曹丽娟 杜飞 杨云 胡媛媛
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 深度学习 集成学习 堆叠泛化 梯度消失 梯度注入
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 2157-2168
• 页数: 12页
• 分类号: TP182
• 字数: 8059字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005822

摘要

深度学习通过多层特征提取方式,可以将原始复杂数据自动表征为高级抽象特征,该模型具有很强的建模能力,普遍应用于图像识别语音识别、自然语言处理等高复杂问题中.但深度学习由于网络层数深、参数规模庞大,训练时常常会产生梯度消失、陷入局部最优解、过度拟合等现象.借鉴集成学习的思想,提出一个新颖的深度共享集成网络,该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式,在网络的各层注入梯度,从而对低层隐藏层进行梯度补给,从而降低深度学习中的梯度消失现象,并通过集成多输出层的方式使得整个网络拥有更强的泛化性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜飞	云南大学国家示范性软件学院	5	38	2.0	5.0
2	曹丽娟	云南大学国家示范性软件学院	7	54	5.0	7.0
3	杨云	云南大学国家示范性软件学院	6	79	3.0	6.0
9	胡媛媛	云南大学国家示范性软件学院	3	1	1.0	1.0