ReLU激活函数优化研究

• 作者: 王维维 蒋昂波
• 来源期刊: 传感器与微系统
• 学科: 工学
• 关键词: 门控循环单元 神经网络 激活函数 双曲正切线性单元
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 研究与探讨
• 页码范围: 50-52
• 页数: 3页
• 分类号: TP301.6|TN911
• 字数: 2070字
• 语种: 中文
• DOI: 10.13873/J.1000—9787(2018)02—0050—03

摘要

门控循环单元(GRU)是一种改进型的长短期记忆模型(LSTM)结构,有效改善了LSTM训练耗时的缺点.在GRU的基础上,对激活函数sigmoid,tanh,ReLU等性能进行了比较和研究,详细分析了几类激活函数的优缺点,提出了一种新的激活函数双曲正切线性单元(TLU).实验证明:新的激活函数既能显著地加快深度神经网络的训练速度,又有效降低训练误差.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王维维	浙江大学超大规模集成电路设计研究所	15	127	4.0	11.0
2	蒋昂波	浙江大学超大规模集成电路设计研究所	1	81	1.0	1.0