改进聚类的深度神经网络压缩实现方法

• 作者: 刘涵 王宇 马琰
• 来源期刊: 控制理论与应用
• 关键词: 深度神经网络 剪枝 K–Means++聚类 深度网络压缩
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 论文与报告
• 页码范围: 1130-1136
• 页数: 7页
• 语种: 中文
• DOI: 10.7641/CTA.2018.70592

摘要

深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K–Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG–16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘涵	西安理工大学自动化与信息工程学院	71	981	16.0	27.0
2	王宇	西安理工大学自动化与信息工程学院	5	9	2.0	2.0
3	马琰	西安理工大学自动化与信息工程学院	1	0	0.0	0.0