基于深度学习的开放域引导对话生成模型

• 作者: 王浩然 李国勇 徐传淇 胡智翔
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 深度学习 对话系统 神经网络 聊天机器人 多头注意力机制 上下文感知
• 年，卷（期）: 2021,（z2）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 66-70
• 页数: 5页
• 分类号: TP391|TP389.1
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2021010028

摘要

针对在开放域对话生成中的回复往往具有高重复性的特点或缺乏实际意义,以及与上下文内容相关性低和弱同理心等问题,利用基于DialoGPT的改进预训练模型分别构建生成排序模型,将DialoGPT模型作为基干网络并引入情绪分类和句子分类模块,便于进行多任务训练.首先将抽取的特定情绪对话之间用特殊间隔符进行拼接,然后输入到在大量数据训练过的生成模型;通过训练特定数据集和编码上下文内容,模型可以在多轮对话过程生成通顺流畅且情感引导的候选文本;同时在生成时采用核采样算法以提高回复多样性;最后通过排序模型挑选与上下文信息相关性最高的回复作为输出.另外为了进一步提高模型生成的泛化能力和算法收敛速度,采用AdamW替换Adam进行梯度更新.实验结果表明,所设计的生成排序模型在Context、Fluency等指标相比基线模型都有一定提升,对话示例显示可以有来有回的对话交流,生成的回复文本内容通顺流畅且多样性高.