利用数据稀疏性的LSTM加速器设计

• 作者: 高琛 张帆 高彦钊
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 长短时记忆神经网络 现场可编程逻辑门阵列 稀疏性 矩阵向量乘法
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 学术论文
• 页码范围: 209-215
• 页数: 7页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.12263/DZXB.20190773

摘要

针对长短时记忆神经网络(Long Short-Term Memory,LSTM)模型计算开销大、冗余计算较多的问题,本文提出一种利用输入数据稀疏性的LSTM加速器设计方案.本方案基于Delta网络算法,对输入序列的稀疏性进行构建,在避免数据不规则加载的前提下,对冗余矩阵向量乘法运算进行过滤;针对矩阵向量乘法计算模式进行建模,寻找最高效的并行阵列计算架构设计.在MNIST标准数据集上的实验表明,当Delta网络算法的过滤门限不超过0.5时,LSTM神经网络算法检测准确率不变,计算性能提高了21.53倍.