AlexNet改进及优化方法的研究

• 作者: 宫鹤 郭敏钢
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: AlexNet 卷积神经网络(CNN) Normalization 优化器 激活函数
• 年，卷（期）: 2020,（20）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 124-131
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1907-0135

摘要

通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化.针对LRN(Local Response Normalization)不存在可学习参数,提出了用WN(Weight Normalization)来代替LRN,同时将WN置于所有池化层(Pooling layer)之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率(Learning rate)下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生.