基于Dopout与ADAM优化器的改进CNN算法

• 作者: 李少波 杨观赐 杨静 胡建军
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 卷积神经网络 激活函数 梯度消失 ADAM优化器 梯度饱和问题
• 年，卷（期）: 2018,（7）
• 所属期刊栏目: 计算机与控制工程
• 页码范围: 122-127
• 页数: 6页
• 分类号: TP183
• 语种: 中文
• DOI: 10.13245/j.hust.180723

摘要

在分析当前卷积神经网络模型特征提取过程中存在问题的基础上,提出了基于Dropout与ADAM优化器的改进卷积神经网络算法(MCNN-DA).设计了二次卷积神经网络结构,通过引入基于ReLU的激活函数以避免梯度消失问题,提高收敛速度;通过在全连接层和输出层之间加入Dropout层解决过拟合问题,并设计了ADAM优化器的最小化交叉熵.以MNIST和HCL2000数据集为测试数据,测试分析了ADAM优化器的不同学习率对算法性能的影响,得出当学习率处于0.04～0.08时,算法具有较好的识别性能.与三种算法的实验比较结果表明:本文算法的平均识别率最高可达99.21％;对于HCL2000测试集,本文算法的平均识别率比基于支持向量机优化的极速学习机算法提高了3.98％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨静	贵州大学现代制造技术教育部重点实验室	45	178	7.0	11.0
2	李少波	贵州大学现代制造技术教育部重点实验室	163	758	13.0	21.0
3	杨观赐	贵州大学现代制造技术教育部重点实验室	39	140	6.0	10.0