基于改进注意力机制的问题生成模型研究

• 作者: 易也难 卞艺杰
• 学科: 工学
• 关键词: 问题生成 序列到序列模型 自注意力机制 全局注意力机制
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 人工智能与算法
• 页码范围: 49-57
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19304/J.ISSN1000-7180.2021.1082

摘要

问题生成是一项应用非常广泛的自然语言生成任务，现有的研究大多数是采用基于循环神经网络构建的序列到序列模型.由于循环神经网络自带的“长期依赖”问题，导致模型编码器在对输入语句建模表示时，无法有效地捕获到词语间的相互关系信息.此外，在解码阶段，模型解码器通常只利用编码器的单层输出或者顶层输出来计算全局注意力权重，无法充分利用从原始输入语句中提取到的语法语义信息.针对以上两个缺陷，现提出一种基于改进注意力机制的问题生成模型.该模型在编码器中加入了自注意力机制，用来获取输入词语间的相互关系信息，并且在解码器生成问题词语时，采用编码器的多层输出联合计算全局注意力权重，可以充分利用语法语义信息提高解码效果.利用SQuAD数据集对上述改进模型进行了实验，实验结果表明，改进模型在自动评估方法和人工评估方法中均优于基准模型，并且通过样例分析可以看出，改进模型生成的自然语言问题质量更高.