面向问题生成的预训练模型适应性优化方法研究

• 作者: 苏玉兰 洪宇 朱鸿雨 武恺莉 张民
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 问题生成 暴露偏差 问答数据集 迁移学习
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 问答与对话|Question Answering and Dialogue System
• 页码范围: 91-100
• 页数: 10页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2022.03.011

摘要

问题生成的核心任务是"在给定上下文语境的前提下,对目标答案自动生成相应的疑问句".问题生成是自然语言处理领域中富有挑战性的任务之一,其对可靠的语义编码和解码技术有着极高的要求.目前,预训练语言模型已在不同自然语言处理任务中得到广泛应用,并取得了较好的应用效果.该文继承这一趋势,尝试将预训练语言模型UNILM应用于现有"基于编码和解码架构"的问题生成系统中,并集中在其适应性问题上开展研究.该文针对预训练模型在解码阶段频繁出现的"暴露偏差"和"掩码异构"问题,分别研究了基于随机抗噪和迁移学习的训练方法,借以提升UNILM在问题生成过程中的适应能力.同时,该文在SQuAD数据集上开展问题生成实验,实验结果证明,随机抗噪和迁移学习都能优化UNILM的解码性能,使之在答案可知场景的数据划分split1和split2上,分别将BLEU4指标提升到20.31％和21.95％;并在答案不可知场景的split1数据集上将BLEU4指标提升到17.90％.