基于BERT与XGBoost的航天科技开源情报分类

• 作者: 刘秀磊 孔凡芃 谌彤童 刘旭红
• 来源期刊: 郑州大学学报（理学版）
• 关键词: 文本分类 BERT模型 XGBoost模型 航天科技 开源情报
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 信息科学
• 页码范围: 15-22
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.13705/j.issn.1671-6841.2021031

摘要

航天科技开源情报文本内容较长且含有大量专有名词,影响了情报分类的效果,为了提升相关情报的分类准确率,提出一种基于BERT与XGBoost融合模型的航天科技开源情报分类算法.首先通过BERT模型的深度结构提取情报中的关键特征,然后利用XGBoost模型取代BERT最后的输出层,并依据BERT提取到的关键特征对相关情报进行分类.为了验证算法的有效性,设计了与TextRCNN、DPCNN等部分主流语言模型的对比实验,实验结果表明该算法在航天科技开源情报分类中的准确率与TextRCNN、DPCNN模型相比,分别提高了1.9％、2.2％,证明了该算法在相关分类任务中的有效性.