基于时序卷积网络的词级语言模型研究与应用

• 作者: 李大舟 于广宝 高巍 孟智慧
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 语言模型 扩大卷积 时序卷积神经网络 因果卷积 复杂度
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 软件与算法
• 页码范围: 449-454
• 页数: 6页
• 分类号: TP39
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2021.02.022

摘要

提出一种卷积神经网络——时序卷积神经网络.将该网络应用于语言模型,时序卷积神经网络的基本结构由输入层、扩大卷积层、因果卷积层、Relu层、Dropout层、输出层组成,将扩大卷积应用在语言模型中.实验结果表明,将语言模型的复杂度降到83.21,误差降到3.87,该网络同RNN比较复杂度下降14％、误差下降0.69,该网络同LSTM比较复杂度下降13％、误差下降0.4,综合复杂度、误差两个指标,时序卷积网络优于其它基准模型.