基于BERT-LDA的新闻短文本分类方法

• 作者: 付静 龚永罡 廉小亲 顾龙浩
• 来源期刊: 信息技术与信息化
• 关键词: BERT LDA Word2vec 文本分类
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 计算机应用
• 页码范围: 127-129
• 页数: 3页
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9528.2021.02.044

摘要

针对短文本字数受限导致的特征稀疏和语义模糊的问题,提出一种基于BERT-LDA的新闻短文本分类方法.首先将词向量和位置向量作为BERT的输入,通过多头自注意力机制获取长距离依赖关系,提取全局语义特征;然后利用Word2vec模型融合LDA主题模型扩展短文本的特征表示方法,解决短文本数据稀疏和主题信息匮乏的问题.实验结果表明,BERT-LDA模型相较于传统和单一的分类模型,具有更好的分类效果,其F值高达92.86％,证明了该方法的可行性和有效性.