多斜率自适应卷积神经网络激活函数

• 作者: 刘波 刘海 胡瑜
• 来源期刊: 空间控制技术与应用
• 学科: 工学
• 关键词: 激活函数 卷积神经网络 图像分类
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 论文与报告
• 页码范围: 28-35
• 页数: 8页
• 分类号: TP18
• 字数: 5651字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-1579.2020.03.004

摘要

针对卷积神经网络中激活函数无法有效为处于不同激活程度的像素点提供特定梯度响应的问题,设计了一种由多个分段线性函数组成的自适应激活函数.首先依据像素激活值的取值范围,自适应地生成多个独立的激活域,各个激活域的并集包含激活图中全体像素点的激活值;随后在每个激活域中学习一个特定的线性函数,为处于该激活域中的像素点提供特定的梯度响应;最后以NIN网络和ResNet18网络为例,在CIFAR-10和CIFAR-100数据集上,验证所提激活函数的性能.实验结果表明,与现有激活函数相比,本文提出的激活函数,由于能够更好地为处于不同激活程度的像素点提供适当的梯度响应,使分类准确率在NIN网络上分别达到87.96％和69.01％,在ResNet18网络上分别达到88.56％和73.54％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡瑜	中国科学院计算技术研究所智能计算机研究中心	22	220	7.0	14.0
5	刘波		22	69	5.0	8.0
6	刘海	中国科学院计算技术研究所智能计算机研究中心	11	110	5.0	10.0