基于Transformer模型的商品评论情感分析

• 作者: 杜朋 卢益清 韩长风
• 来源期刊: 中文信息学报
• 关键词: 情感分析 多头自注意力机制 神经网络 商品评论
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 情感分析与社会计算|Sentiment Analysis and Social Computing
• 页码范围: 125-132
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2021.02.013

摘要

该文通过研究商品评论正、负向情感识别任务,基于Transformer模型,提出了一种结合多头自注意力层和卷积层的神经网络模型,其中多头自注意力层丰富了词语之间的关联关系,卷积操作进行特征的再提取和融合.通过和双向长期时记忆网络(bidirectional long short-term memory networks,BILSTM)、基于注意力机制的BILSTM网络、文本卷积神经网络(text convolutional neural networks,TEXTCNN)进行对比,实验证明,该文提出的模型在商品评论情感分类任务的最高准确率分别提高了4.12％、1.47％、1.36％,同时训练用时也大大缩减.