基于单向Transformer和孪生网络的多轮任务型对话技术

• 作者: 王涛 刘超辉 郑青青 黄嘉曦
• 来源期刊: 计算机工程
• 关键词: 循环神经网络 多轮对话系统 预训练模型 Transformer模型 孪生网络
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 人工智能与模式识别|Artificial Intelligence and Pattern Recognition
• 页码范围: 55-58,66
• 页数: 5页
• 分类号: TP18
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0058557

摘要

循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低.为此,提出一种针对任务型对话系统的建模方法.引入预训练模型对句子语意和对话过程进行深度编码,对Transformer模型进行精简,仅保留编码器部分的单向Transformer,将应答部分抽象成不同的指令,采用孪生网络对指令进行相似度排序,选择相似度最高的指令生成应答.在MultiWOZ数据集上的实验结果表明,与LSTM和基于Transformer模型相比,该方法预测速度更快,在小数据集上具有更好的性能,在大数据集上也能取得与当前先进模型相当的效果.