基于层次混合注意力机制的文本分类模型

• 作者: 孙新 唐正 赵永妍 张颖捷
• 来源期刊: 中文信息学报
• 关键词: 文本分类 深度学习 注意力机制
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 信息抽取与文本挖掘|Information Extraction and Text Mining
• 页码范围: 69-77
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2021.02.007

摘要

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制.句编码时在全局目标向量基础上同时利用最大池化提取句子特定的目标向量,使编码出的文档向量具有更加明显的类别特征,能够更好地关注到每个文本最具区别性的语义特征.最后,根据构建的文档表示对文档分类.在公开数据集和行业数据集上的实验结果表明,该模型对具有层次结构的长文本具有更优的分类性能.