几种典型卷积神经网络的权重分析与研究

• 作者: 孙仁诚 李杰
• 来源期刊: 青岛大学学报（自然科学版）
• 学科: 工学
• 关键词: 卷积神经网络 权重分布 幂律分布
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 环境工程与信息工程
• 页码范围: 85-90
• 页数: 6页
• 分类号: TP389|O21
• 字数: 2905字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-1037.2019.11.13

摘要

为了探究神经网络权重对网络产生的影响,通过选取多个典型的卷积神经网络模型,采用统计分析及最大似然拟合等方式进行分布拟合,对网络权重进行可视化的对比研究.研究结果表明,神经网络的权重值在训练过程中会向负方向偏移,均值更趋向于0.同时,预训练权重的分布也不再服从初始化时的正态分布,而是向趋于0的方向收缩,呈现出峰值更高的特征,且出现了长尾的现象,局部表现出了幂律分布的特性.利用这些分布特征对神经网络初始化参数做调整,可在一定程度上提高训练效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李杰	青岛大学计算机科学技术学院	43	230	9.0	13.0
2	孙仁诚	青岛大学计算机科学技术学院	56	250	10.0	14.0