深度神经网络的仿生矩阵约简与量化方法

• 作者: 刘渊 朱倩倩 李甫
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 模型压缩 深度神经网络 参数重构 目标检测 网络动力学 仿生模型
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 人工智能
• 页码范围: 2817-2821
• 页数: 5页
• 分类号: TP183
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020020222

摘要

基于生物学原理的深度神经网络(DNN)的发展给人工智能领域带来了革命性的突破,然而当前神经网络的发展却越来越脱离生物学原理,DNN越来越臃肿的模型对存储空间和计算力的需求越来越高,并且对于DNN在嵌入式/移动端设备上的部署带来了阻碍.针对这一问题,对生物学进化选择原理进行研究,并提出一种基于"进化"+"随机"+"选择"的全新神经网络算法.该方法在保持现有神经网络模型的基本框架的前提下,能极大简化现有模型的大小.首先对权值参数进行聚类,然后在参数的聚类质心值的基础上添加随机微扰进行参数重构,最后通过对重构模型进行图像分类和目标检测来实现准确度测试以及模型稳定性分析.在ImageNet数据集和COCO数据集上的实验结果表明,提出的模型重构方法在对图像分类和目标检测的测试准确度提升1％～3％的情况下,仍可将Darknet19、ResNet18、ResNet50以及YOLOv3等四种重构模型的体量压缩到原来的1/4～1/3,并还有进一步简化的可能.