基于ArcReLU函数的神经网络激活函数优化研究

• 作者: 徐菲菲 许赟杰
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 神经网络 激活函数 反正切函数 ArcReLU
• 年，卷（期）: 2019,（3）
• 页码范围: 517-529
• 页数: 13页
• 分类号: TP18
• 字数: 5989字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2019.03.015

摘要

近年来深度学习发展迅猛.由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较.针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU.实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐菲菲	上海电力学院计算机科学与技术学院	15	157	6.0	12.0
2	许赟杰	上海电力学院计算机科学与技术学院	2	2	1.0	1.0