基于BERT和BiLSTM的语义槽填充

• 作者: 张玉帅 赵欢 李博
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 语义槽填充 预训练模型 长短期记忆网络 上下文依赖 词向量
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 人工智能
• 页码范围: 247-252
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.191200088

摘要

语义槽填充是对话系统中一项非常重要的任务,旨在为输入句子的每个单词标注正确的标签,其性能的好坏极大地影响着后续的对话管理模块.目前,使用深度学习方法解决该任务时,一般利用随机词向量或者预训练词向量作为模型的初始化词向量.但是,随机词向量存在不具备语义和语法信息的缺点;预训练词向量存在"一词一义"的缺点,无法为模型提供具备上下文依赖的词向量.针对该问题,提出了一种基于预训练模型BERT和长短期记忆网络的深度学习模型.该模型使用基于Transformer的双向编码表征模型(Bidirectional Encoder Representations from Transformers,BERT)产生具备上下文依赖的词向量,并将其作为双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入,最后利用Softmax函数和条件随机场进行解码.将预训练模型BERT和BiLSTM网络作为整体进行训练,达到了提升语义槽填充任务性能的目的.在MIT Restaurant Corpus,MIT Movie Corpus和MIT Movie trivial Corpus 3个数据集上,所提模型得出了良好的结果,最大F1值分别为78.74％,87.60％和71.54％.实验结果表明,所提模型显著提升了语义槽填充任务的F1值.