基于分层Attention机制的Bi-GRU中文文本分类模型

• 作者: 胡玉兰 赵青杉 牛永洁 陈莉
• 来源期刊: 长春师范大学学报（自然科学版）
• 关键词: 中文文本分类 双向门控循环单元 分层注意力机制 权重绑定 自适应边界梯度优化法
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 计算机科学与技术研究
• 页码范围: 39-45
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1008-178X.2021.01.008

摘要

针对基于神经网络的文本分类模型在训练过程中容易发生过拟合及忽略句子中的关键词的问题,提出了一种基于分层Attention机制的Bi-GRU中文文本分类模型.该模型引入了分层的思想,利用双向门控循环神经网络学习词层面和句子层面的文本表示,采用Self-Attention层次模型获取词和句子对于文本分类影响程度的信息;通过绑定共享嵌入层和softmax层之间的权重,在减少模型中参数的同时采用AMSBound优化方法快速有效地获取最优权重矩阵.对常用的两个中文数据集Fudan Set和THUCNews,本文模型对中文较长文本分类数据集Fudan Set进行实验,实验结果表明,本文模型在精度、召回率、F-score等指标上均优于Text-CNN模型、Attention-BiLSTM模型、Bi-GRU_CNN模型,精度、召回率、F-score指标分别提高了5.9％、5.8％、4.6％.