面向文本分类的多头注意力池化RCNN模型

• 作者: 翟一鸣 王斌君 周枝凝 仝鑫
• 来源期刊: 计算机工程与应用
• 关键词: 文本分类 循环卷积神经网络 池化 最大池化 多头注意力池化
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 模式识别与人工智能|Pattern Recognition and Artificial Intelligence
• 页码范围: 155-160
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2003-0276

摘要

针对经典循环卷积神经网络(RCNN)在池化层采用的最大池化策略较为单一,会忽略除最突出特征外的其他特征,影响分类精度的问题,提出基于多头注意力池化的循环卷积神经网络(MHAP-RCNN)模型.多头注意力池化可以充分考虑各特征对分类的贡献,且能在训练过程中动态优化,有效缓解最大池化的单一性问题.在三个公开的文本分类数据集上进行实验,结果表明与经典RCNN及其他各模型相比,提出的模型具有更好的文本分类性能.