深度学习算法的激活函数研究

• 作者: 张有健 陈晨 王再见
• 来源期刊: 无线电通信技术
• 学科: 工学
• 关键词: 激活函数 卷积神经网络 循环神经网络 深度学习
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 工程实践及应用技术
• 页码范围: 115-120
• 页数: 6页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3114.2021.01.016

摘要

作为深度学习算法中重要的环节,激活函数可以为神经网络引入非线性因素.大量学者通过提出或改进激活函数的方法在一定程度上提高了算法的优化及泛化能力.研究了现阶段的激活函数,将激活函数大致分为S系激活函数和ReLU系激活函数,从不同激活函数的功能特点和存在的饱和性、零点对称和梯度消失及梯度爆炸的现象进行研究分析,针对Sigmoid,Tanh,ReL,P-ReLU,L-ReLU等典型激活函数分别应用在卷积神经网络(Covolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)中测试.在CNN中使用MNIST,CIFAR-10经典数据集测试不同激活函数,并在RNN中使用大豆粮油数据集对大豆的产值进行预警,通过结果得到S系激活函数比ReLU系激活函数收敛更快,而ReLU系激活函数则在精度上优于S系激活函数,其中P-ReLU在大豆产值预测中达到93％的最高精度.