基于DropWeight算法在图像分类中的研究

• 作者: 潘晴 袁宏进
• 来源期刊: 信息通信
• 学科: 工学
• 关键词: 卷积神经网络 DropWeight 伯努利分布 全连接层 泛化能力
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 学术研究
• 页码范围: 25-29
• 页数: 5页
• 分类号: TP391
• 字数: 4400字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-1131.2019.02.011

摘要

针对卷积神经网络在采用Dropout算法随机选取神经元时,忽略神经元的作用能力有强有弱的局限性,提出一种DropWeight算法.首先在全连接层上,通过伯努利分布按一定概率来随机选择神经元是否激活,然后引入了一个神经元激活程度值变量.它是为未被激活的神经元们赋予较小的激活程度值,使得更新神经元的连接方式发生变化,来丰富网络的多样性和增强网络的鲁棒性.通过 Mnist 和 Cifar-10两个标准数据集进行实验,与加入 Dropout 层进行比较, DropWeight层在所对应网络当中上都可找到一个最优的激活程度值,并可使图片分类的识别率分别提升0.18%和0.78%.结果表明,DropWeight层在一定程度上提高了网络的泛化能力,具有提高图片分类识别率的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	潘晴	广东工业大学信息工程学院	25	89	5.0	8.0
2	袁宏进	广东工业大学信息工程学院	1	0	0.0	0.0