基于BERT和深层等长卷积的新闻标签分类

• 作者: 杨文浩 刘广聪 罗可劲
• 来源期刊: 计算机与现代化
• 关键词: 标签分类 等长卷积 残差连接 BERT
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 人工智能|ARTIFICIAL INTELLIGENCE
• 页码范围: 94-99
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.08.016

摘要

针对THUCNews的中文新闻文本标签分类任务,在BERT预训练语言模型的基础上,提出一种融合多层等长卷积和残差连接的新闻标签分类模型(DPCNN-BERT).首先,通过查询中文向量表将新闻文本中的每个字转换为向量输入到BERT模型中以获取文本的全文上下文关系.然后,通过初始语义提取层和深层等长卷积来获取文本中的局部上下文关系.最后,通过单层全连接神经网络获得整个新闻文本的预测标签.将本文模型与卷积神经网络分类模型(TextC-NN)、循环神经网络分类模型(TextRNN)等模型进行对比实验.实验结果表明,本文模型的预测准确率达到94.68％,F1值达到94.67％,优于对比模型,验证了本文提出模型的性能.