一种改进的基于幂线性单元的激活函数

• 作者: 李培华 骆训浩
• 来源期刊: 计算机应用研究
• 关键词: 幂线性单元 参数化激活函数 卷积神经网络
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 图形图像技术
• 页码范围: 3145-3147,3178
• 页数: 4页
• 分类号: TP183
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.04.0331

摘要

针对修正线性单元(ReLU)完全丢弃网络中包含有用信息的负激活值问题,基于参数化修正线性单元(PReLU)和指数线性单元(ELU)的研究,提出一种新颖的参数化激活函数幂线性单元(PoLU).PoLU对输入的负激活部分实施有符号的幂非线性变化,幂函数的参数是可以在CNN训练过程中自适应学习的,同时像ReLU那样保持正激活部分不变.PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中.在广泛使用的CIFAR-10/100数据库上的实验结果表明,PoLU要优于ReLU和它相对应的激活函数.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	骆训浩	大连理工大学电子信息与电气工程学部	1	0	0.0	0.0
2	李培华	大连理工大学电子信息与电气工程学部	4	3	1.0	1.0