基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法

• 作者: 严馨 周枫 张磊 徐广义 迟海洋
• 来源期刊: 河北科技大学学报
• 学科: 工学
• 关键词: 自然语言处理 意图识别 在线健康社区 BERT词向量 BiGRU Attention机制
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 机械、电子与信息科学
• 页码范围: 225-232
• 页数: 8页
• 分类号: TP391
• 字数: 5663字
• 语种: 中文
• DOI: 10.7535/hbkd.2020yx03004

摘要

针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型.首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类.爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型.提出的新方法能有效提升意图识别模型的性能,提高在线健康信息服务质量、为在线健康社区问答系统提供技术支撑.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	严馨	昆明理工大学信息工程与自动化学院	40	122	5.0	10.0
5	迟海洋	昆明理工大学信息工程与自动化学院	1	0	0.0	0.0
9	周枫	昆明理工大学信息工程与自动化学院	41	74	5.0	7.0
13	徐广义		5	1	1.0	1.0