U-Net:用于包含无答案问题的机器阅读理解的轻量级模型

• 作者: 孙付 李林阳 邱锡鹏 刘扬 黄萱菁
• 来源期刊: 中文信息学报
• 关键词: 机器阅读理解 SQuAD 注意力机制
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 问答与对话|Question Answering and Dialogue System
• 页码范围: 99-106
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2021.02.010

摘要

处理机器阅读理解任务时,识别其中没有答案的问题是自然语言处理领域的一个新的挑战.该文提出U-Net模型来处理这个问题,该模型包括3个主要成分:答案预测模块、无答案判别模块和答案验证模块.该模型用一个U节点将问题和文章拼接为一个连续的文本序列,该U节点同时编码问题和文章的信息,在判断问题是否有答案时起到重要作用,同时对于精简U-Net的结构也有重要作用.与基于预训练的BERT不同,U-Net的U节点的信息获取方式更多样,并且不需要巨大的计算资源就能有效地完成机器阅读理解任务.在SQuAD 2.0中,U-Net的单模型F1得分72.6、EM得分69.3,U-Net的集成模型F1得分74.9、EM得分71.4,均为公开的非基于大规模预训练语言模型的模型结果的第一名.