关于改进的激活函数TReLU的研究

• 作者: 宋文爱 宋超峰 张涛 杨剑
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 深度学习 激活函数 软饱和性 鲁棒性
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 人工智能与算法研究
• 页码范围: 58-63
• 页数: 6页
• 分类号: TP391
• 字数: 4532字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2019.01.012

摘要

近年来深度学习在各个研究领域取得越来越多的成果,这些都离不开激活函数的发展.但现有的激活函数Tanh、ReLU和PReLU在随着研究的深入暴露出越来越多的问题,比如存在"神经元死亡"和偏移现象,对噪声不具有鲁棒性.针对这些问题,结合Tanh和PReLU的优点,提出了TReLU激活函数,通过参数α控制负半轴非饱和区间获得激活值,输出近似0均值,软饱和性对噪声鲁棒.实验结果表明,TReLU在四种不同的数据集上都取得了最好的效果,对不同优化方法具有鲁棒性,具有一定的实用价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张涛	中北大学软件学院	38	150	8.0	9.0
2	宋文爱	中北大学软件学院	107	470	11.0	16.0
3	杨剑	中北大学软件学院	32	228	10.0	13.0
4	宋超峰	中北大学软件学院	7	31	3.0	5.0