双向长短时记忆模型训练中的空间平滑正则化方法研究

• 作者: 张鹏远 李文洁 葛凤培 颜永红
• 来源期刊: 电子与信息学报
• 学科: 工学
• 关键词: 语音信号处理 空间平滑 双向长短时记忆模型(LSTM) 正则化 过拟合
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 论文
• 页码范围: 544-550
• 页数: 7页
• 分类号: TN912.34
• 字数: 5648字
• 语种: 中文
• DOI: 10.11999/JEIT180314

摘要

双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构.但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果.在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一.该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则.实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4％的词错误率(WER)下降.进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6％的WER下降.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张鹏远	中国科学院声学研究所语言声学与内容理解重点实验室	18	77	6.0	8.0
5	葛凤培	中国科学院声学研究所语言声学与内容理解重点实验室	8	40	3.0	6.0
9	李文洁	中国科学院声学研究所语言声学与内容理解重点实验室	4	16	3.0	4.0