基于多头自注意力和并行混合模型的文本情感分析

• 作者: 李辉 黄钰杰
• 来源期刊: 河南理工大学学报（自然科学版）
• 关键词: 多头自注意力 双向门限循环神经网络 卷积神经网络 文本情感分析
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 计算机·人工智能·大数据
• 页码范围: 125-132
• 页数: 8页
• 分类号: TP391.1
• 语种: 中文

摘要

针对以往研究大多使用单一模型进行文本情感分析,导致无法很好地捕捉相关文本的情感特征,从而造成情感分析效果不理想的问题,提出一种基于多头自注意力和并行混合模型的文本情感分析方法.首先,利用Word2vec模型捕捉单词的语义特征,训练词向量;其次,借助双层多头自注意力机制(double layer multi-head self-attention,DLMA)学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络(bi-directional gated re-current nnit,BiGRU)获取文本的序列特征;最后,借助改进的并行卷积神经网络(convolutional neural network,CNN)提取深层次特征信息.将该模型分别在2个数据集上进行实验验证,其准确率分别达到92.71％和91.08％.结果 表明,该方法比其他模型具有更好的学习能力.