结合自注意力机制的神经网络文本分类算法研究

• 作者: 丛日晴 林岩 王宇涵 贾红雨
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 文本分类 自注意力机制 深度学习 长短期记忆 卷积神经网络
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 算法
• 页码范围: 200-206
• 页数: 7页
• 分类号: TP391.1
• 字数: 5586字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.02.031

摘要

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点.增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题.提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A.注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入.实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35％的分类正确率,比Bi-LSTM(94.75％)、Bi-GRU(94.25％)、TextCNN(93.31％)、RCNN(95.75％)具有更好的文本分类表现.通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贾红雨	大连海事大学航运经济与管理学院	15	165	7.0	12.0
2	林岩	大连海事大学航运经济与管理学院	29	180	9.0	13.0
3	丛日晴	大连海事大学航运经济与管理学院	2	0	0.0	0.0
4	王宇涵	大连海事大学航运经济与管理学院	3	0	0.0	0.0