基于改进sigmoid激活函数的深度神经网络训练算法研究

• 作者: 孙世宇 段修生 郎巍 黄毅
• 来源期刊: 计算机测量与控制
• 关键词: 深度神经网络 残差衰减 sigmoid激活函数
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 设计与应用
• 页码范围: 126-129
• 页数: 4页
• 分类号: TP183
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2017.02.035

摘要

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验,实验表明双参数sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙世宇	军械工程学院电子与光学工程系	43	382	8.0	18.0
2	段修生	军械工程学院电子与光学工程系	68	568	10.0	22.0
3	黄毅	军械工程学院电子与光学工程系	1	36	1.0	1.0