基于卷积神经网络和自注意力机制的文本分类模型

• 作者: 杨煦晨 汪嘉伟 琚生根 袁宵 谢正文
• 来源期刊: 四川大学学报（自然科学版）
• 学科: 工学
• 关键词: 文本分类 卷积神经网络 自注意力机制 长距离依赖
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 计算机科学
• 页码范围: 469-475
• 页数: 7页
• 分类号: TP391
• 字数: 3841字
• 语种: 中文
• DOI: 10.3969/j.issn.0490-6756.2020.03.009

摘要

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo!Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9％、0.2％、0.5％、2.1％、2.0％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	琚生根	四川大学计算机学院	72	460	11.0	16.0
2	杨煦晨	四川大学计算机学院	2	0	0.0	0.0
3	谢正文	四川大学计算机学院	3	0	0.0	0.0
4	汪嘉伟	四川大学计算机学院	1	0	0.0	0.0
5	袁宵	四川大学计算机学院	1	0	0.0	0.0