通过K-means算法实现神经网络的加速和压缩

• 作者: 徐睿 李艺煌 郭阳 陈桂林 马胜
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 神经网络 置信区间 加速 聚类压缩
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 高性能计算
• 页码范围: 796-803
• 页数: 8页
• 分类号: TP389.1
• 字数: 6521字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.05.005

摘要

近年来,以神经网络为代表的机器学习领域快速发展,已广泛地应用于语音识别和图像识别等各个工业领域.随着应用环境越来越复杂,精度要求越来越高,网络规模也越来越大.大规模神经网络既是计算密集型又是存储密集型结构,其中卷积层是计算密集型层次,全连接层是存储密集型层次.前者的处理速度跟不上存取速度,后者的存取速度跟不上处理速度.基于神经网络本身训练的预测准确率置信区间,提出了一种使用K-means加速和压缩神经网络的方法.通过将卷积过程中的输入特征图采用K-means压缩来减少计算量;通过将全连接层的权重压缩来减少存储量.所提方法对AlexNet网络单个卷积层的计算量最多能降低2个数量级,加入合适的K-means层,整个网络的处理时间加速比能达到2.077,对网络压缩率达到8.7％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭阳	国防科技大学计算机学院	50	449	9.0	20.0
2	马胜	国防科技大学计算机学院	9	12	2.0	3.0
3	徐睿	国防科技大学计算机学院	3	0	0.0	0.0
4	李艺煌	国防科技大学计算机学院	3	0	0.0	0.0
5	陈桂林	国防科技大学计算机学院	3	4	1.0	2.0