二值卷积神经网络综述

• 作者: 丁文锐 刘春蕾 李越 张宝昌
• 来源期刊: 航空学报
• 关键词: 二值卷积神经网络 全精度卷积神经网络 二值化 量化 模型压缩 轻量化 深度学习
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 综述|Review
• 页码范围: 181-195
• 页数: 15页
• 分类号: V19|TP37
• 语种: 中文

摘要

二值卷积神经网络(BNN)占用存储空间小、计算效率高,然而由于网络前向的二值量化与反向梯度的不匹配问题,使其与同结构的全精度深度卷积神经网络(CNN)之间存在较大的性能差距,影响了其在资源受限平台上的部署.至今,研究者已提出了一系列网络设计与训练方法来降低卷积神经网络在二值化过程中的性能损失,以推动二值卷积神经网络在嵌入式便携设备发展中的应用.因此,本文对二值卷积神经网络进行综述,主要从提高网络表达能力与充分挖掘网络训练潜力两大方面,给出了当前二值卷积神经网络的发展脉络与研究现状.具体而言,提高网络表达能力分为二值化量化方法设计、结构设计两方面,充分挖掘网络训练潜力分为损失函数设计与训练策略两方面.最后,对二值卷积神经网络在不同任务与硬件平台的实验情况进行了总结和技术分析,并展望了未来研究中可能面临的挑战.