基于多尺度与改进注意力机制的序列到序列模型

• 作者: 朱丙丽 陈立
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 序列到序列 注意力机制 多尺度 上下文信息 语音处理
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 人工智能与识别
• 页码范围: 140-144
• 页数: 5页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.12.022

摘要

序列到序列模型是一种基于神经网络的模型,在机器学习的多个领域取得了良好的效果.针对序列到序列模型的注意力机制模块,提出两种改进方法:维护前面几个时间步骤中的定位和预期上下文历史信息;将前几步的注意力向量与当前解码状态作多尺度卷积.新模型被部署于语音识别和文本到语音系统,实验结果表明,该模型与传统序列到序列模型相比性能显著提高,是处理语音识别和文本分析等问题的有效方法.