深度卷积神经网络中激活函数的研究

• 作者: 李一波 郭培宜 张森悦
• 来源期刊: 计算机技术与发展
• 关键词: 深度卷积神经网络 激活函数 反正切函数 对数函数 图像分类
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 图形与图像
• 页码范围: 61-66
• 页数: 6页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2021.09.011

摘要

针对深度卷积神经网络中经典的AlexNet网络模型中激活函数ReLU在网络模型训练时易产生神经元"死亡"和均值偏移的问题进行研究以及改进,通过结合反正切函数和对数函数的优势,在传统激活函数ReLU基础上提出了一种新的激活函数sArcReLU,并在后续训练过程中进一步调参.并将文中改进后的激活函数sArcReLU用于AlexNet网络模型训练,将使用新激活函数训练的深度卷积神经网络模型应用于公开数据集进行分类实验以验证其性能.实验结果表明:利用sArcReLU激活函数训练的深度卷积神经网络比利用ReLU以及ArcReLU训练的网络模型在分类精度上分别提升了1.7％和2.4％,证明了改进方式经过大量数据充分微调的深度卷积神经网络可有效地提高图像分类精度,该方法同时也提升了深度卷积神经网络的实际应用价值.