深度神经网络的压缩研究

• 作者: 张睿 徐春香 蒋同海 韩云飞 马玉鹏
• 来源期刊: 计算机应用研究
• 关键词: 神经网络 压缩 网络删减 参数共享
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2894-2897,2903
• 页数: 5页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.10.003

摘要

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求.为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案.首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用K-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重.实验在MNIST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300-240-180-100网络分别压缩了9.5×和12.1×.基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案.