基于双向注意力机制的多文档神经阅读理解

• 作者: 唐竑轩 武恺莉 朱朦朦 洪宇
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 机器阅读理解 多文档 推理 联合训练 注意力机制
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 43-51
• 页数: 9页
• 分类号: TP18
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0056056

摘要

机器阅读理解是一项针对给定文本和特定问题自动生成或抽取相应答案的问答任务,该任务是评估计算机系统对自然语言理解程度的重要任务之一.相比于传统的阅读理解任务,多文档阅读理解需要计算模型具备更高的推理和理解能力.为此,提出一种基于多任务联合训练的阅读理解模型,该模型是由一组功能各异的神经网络构成的联合学习模型,其仿效人们推理和回答问题的基本方式分别执行文档选择和答案抽取两个关键步骤.文档选择过程融入了基于注意力矩阵的关联性判别机制,旨在建立各文档间的联系,而答案抽取过程则使用了语篇级的双向注意力机制,来找寻与答案相关的文字线索,将两者附着于一套神经阅读理解模型上,可形成一种基于联合学习的多文档阅读理解方法.在HotpotQA数据集上的实验结果表明,与基线模型相比,该模型的EM值和F1值分别提升了2.1％和1.7％.