基于Masked-Pointer的多轮对话重写模型

• 作者: 杨双涛 符博 于晨晨 胡长建
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 人机交互 预训练语言模型 指针网络 会话重写
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 31-37
• 页数: 7页
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2020.087

摘要

针对多轮会话中的Non-Sentential Utterances(NSUs)问题,结合当前在自然语言处理领域广泛使用的预训练语言模型,将Masked Language Model用于多轮会话NSUs的重写任务,提出Masked Rewriter Model.与基于Seq2Seq的重写模型相比,重写效果提升明显.根据NSUs重写任务特点,将Masked Language Model与Pointer Network相结合,提出基于Masked-Pointer Rewriter Model的多轮会话重写模型,利用指针网络,提升重写模型对上文信息的关注程度,在BERT Masked Rewriter模型的基础上进一步提升重写效果.