基于BERT-FNN的意图识别分类

• 作者: 郑新月 任俊超
• 来源期刊: 计算机与现代化
• 关键词: 自然语言处理 意图识别 BERT FNN 拆解法
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 人工智能|ARTIFICIAL INTELLIGENCE
• 页码范围: 71-76,88
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.07.013

摘要

意图识别分类是自然语言处理领域的一个热点问题,在智能机器人、智能客服中如何根据上下文理解用户意图是一个重点问题,同时也是一个难点问题.传统的意图识别分类主要是采用基于规则、模板匹配的正则化方法或基于机器学习的方法,然而却存在计算成本高、泛化能力差的问题.针对上述问题,本文设计以Google公开的BERT预训练语言模型为基础,进行输入文本的上下文建模和句级别的语义表示,采用[cls]符号(token)对应的向量代表文本的上下文,再通过全连接神经网络(FNN)对语句进行特征提取,为了充分利用数据,本文利用拆解法的思想,将多分类问题转换成多个二分类问题处理,每次将一个类别作为正例,其余类别均作为负例,产生多个二分类任务,从而实现意图分类.实验结果表明,该方法性能优于传统模型,可以获得94％的准确率.