基于BERT和双通道注意力的文本情感分类模型

• 作者: 李烨 谢润忠
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 文本情感分析 深度学习 基于变换器的双向编码器表征技术 双通道 注意力 双向门控循环单元
• 年，卷（期）: 2020,（4）
• 页码范围: 642-652
• 页数: 11页
• 分类号: TP391
• 字数: 6225字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2020.04.005

摘要

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源.提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型.基于双向门控循环单元(BiGRU)神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达.实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李烨	上海理工大学光电信息与计算机工程学院	44	133	7.0	9.0
2	谢润忠	上海理工大学光电信息与计算机工程学院	2	0	0.0	0.0