引入概率分布的深度神经网络贪婪剪枝

• 作者: 胡骏 黄启鹏 刘嘉昕 刘威 袁淮 赵宏
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 深度学习 神经网络 模型压缩 概率分布 网络剪枝
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 自动驾驶场景感知与仿真
• 页码范围: 198-207
• 页数: 10页
• 分类号: TP391
• 语种: 中文

摘要

目的 深度学习在自动驾驶环境感知中的应用,将极大提升感知系统的精度和可靠性,但是现有的深度学习神经网络模型因其计算量和存储资源的需求难以部署在计算资源有限的自动驾驶嵌入式平台上.因此为解决应用深度神经网络所需的庞大计算量与嵌入式平台有限的计算能力之间的矛盾,提出了一种基于权重的概率分布的贪婪网络剪枝方法,旨在减少网络模型中的冗余连接,提高模型的计算效率.方法 引入权重的概率分布,在训练过程中记录权重参数中较小值出现的概率.在剪枝阶段,依据训练过程中统计的权重概率分布进行增量剪枝和网络修复,改善了目前仅以权重大小为依据的剪枝策略.结果 经实验验证,在Cifar10数据集上,在各个剪枝率下本文方法相比动态网络剪枝策略的准确率更高.在ImageNet数据集上,此方法在较小精度损失的情况下,有效地将AlexNet,VGG(visual geometry group)16的参数数量分别压缩了5.9倍和11.4倍,且所需的训练迭代次数相对于动态网络剪枝策略更少.另外对于残差类型网络ResNet34和ResNet50也可以进行有效的压缩,其中对于Res-Net50网络,在精度损失增加较小的情况下,相比目前最优的方法HRank实现了更大的压缩率(2.1倍).结论 基于概率分布的贪婪剪枝策略解决了深度神经网络剪枝的不确定性问题,进一步提高了模型压缩后网络的稳定性,在实现压缩网络模型参数数量的同时保证了模型的准确率.