基于BERT-GCN-ResNet的文献摘要自动分类方法

• 作者: 郭羽 林丽媛 刘玉良
• 来源期刊: 天津科技大学学报
• 学科: 工学
• 关键词: 图卷积神经网络 转换器的双向编码器表示模型 残差网络 文献自动分类 预训练模型
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 信息科学与技术|Information Science and Technology
• 页码范围: 51-56
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.13364/j.issn.1672-6510.20210184

摘要

为了提升文献摘要自动分类性能,提高分类准确率,有效学习词与文档、文档与文档之间的关联性,本文提出一种基于BERT-GCN-ResNet的文献摘要分类方法.该方法采用转换器的双向编码器表示模型(bidirectional encoder representation from transformers,BERT)得到待分类短文本的词向量初始特征,进而构建边和节点特征;将其输入图卷积神经网络(graph convolutional networks,GCN),并在图卷积层之间加入残差网络(residual network,ResNet)模块;最后将利用图卷积层和残差网络层得到的短文本表示输出至softmax,得到最终的分类结果.将该方法在4种不同的公开文本分类数据集上进行实验,模型准确率最高达97.01％,优于基准模型.同时,在本文构建的基于短文本文献摘要的Abstext数据集上进行验证,分类准确率为96.85％,表明该模型泛化能力较好,能够提高文献自动分类的准确率.