一种新型激活函数:提高深层神经网络建模能力

• 作者: 张培玲 成凌飞 李艳 贺扬
• 来源期刊: 测控技术
• 学科: 工学
• 关键词: 深层神经网络 激活函数 修正线性单元 分类性能
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 先进算法与人工智能
• 页码范围: 50-53,58
• 页数: 5页
• 分类号: TP183
• 字数: 3114字
• 语种: 中文
• DOI: 10.19708/j.ckjs.2019.04.011

摘要

修正线性单元做为深层神经网络的激活函数,常被用来处理复杂的函数来提高深层神经网络的建模能力.针对传统修正线性单元提出一种新的激活函数——Tanh ReLU,Tanh ReLU在修正线性单元的基础上为其添加一个负值和边界值,同时保证Tanh ReLU函数在原点处相切,以此克服由于修正线性单元激活函数非零均值激活、极大输出值和原点处不连续的缺点而损害网络的生成.将此新的激活函数应用于MNIST手写数据分类实验以验证其建立的深层神经网络的性能;同时针对网络中不同的超参数的选择,来进一步验证Tanh ReLU对于提高深层神经网络模型性能的影响.实验结果表明:与修正线性单元相比,Tanh ReLU建立的深层神经网络得到了更好的分类结果,实现了提高深层神经网络分类性能的目的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张培玲	河南理工大学物理与电子信息学院	24	57	5.0	6.0
2	成凌飞	河南理工大学物理与电子信息学院	37	217	7.0	13.0
3	李艳	河南理工大学电气工程与自动化学院	33	213	8.0	13.0
4	贺扬	河南理工大学电气工程与自动化学院	3	4	1.0	2.0