基于知识迁移和双向异步序列的对话生成模型

• 作者: 王勇超 曹钰 杨玉辉 许端清
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 对话生成 知识实体 知识库问答 双向异步生成 序列到序列模型
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 计算机与控制工程|Computer and Control Engineering
• 页码范围: 520-530
• 页数: 11页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2022.03.011

摘要

针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练的知识库问答模型获取输入语句的知识表达、候选知识表达以及关键字;搭建2个编码器-解码器结构,通过双向异步解码将关键字显式地生成在对话回复中;编、解码阶段均引入预训练模型的知识理解和知识表达能力,提升对话生成对知识信息的捕捉能力.提出重复检测惩罚机制,通过赋予惩罚权重的方式减少对话生成中的重复词汇.实验结果表明,所提模型在自动评估和人工评价指标上均优于已有的对话生成方法.