基于改进的BERT-CNN模型的新闻文本分类研究

• 作者: 张小为 邵剑飞
• 来源期刊: 电视技术
• 关键词: BERT TextCNN 词嵌入
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 器件与设计|PARTS & DESIGN
• 页码范围: 146-150
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16280/j.videoe.2021.07.040

摘要

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.