基于多任务学习的生成式阅读理解

• 作者: 钱锦 黄荣涛 邹博伟 洪宇
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 多任务学习 生成式阅读理解
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 机器阅读理解|Machine Reading Comprehension
• 页码范围: 103-111,121
• 页数: 10页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2021.12.011

摘要

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究.与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案.然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解.为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型.该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案.实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能.