基于Tensorflow对卷积神经网络的优化研究

• 作者: 宫鹤 郭敏钢
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Tensorflow CPU+GPU 卷积神经网络 Swish激活函数 ReLU激活函数 ReLU-Swish激活函数
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 158-164
• 页数: 7页
• 分类号: TP183
• 字数: 4508字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1906-0214

摘要

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务.通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异.针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在x负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish.通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验.实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宫鹤	吉林农业大学信息技术学院	27	90	5.0	9.0
10	郭敏钢	吉林农业大学信息技术学院	1	0	0.0	0.0