融合SLDA主题模型的不均衡文本分类方法

• 作者: 唐焕玲 刘艳红 郑涵 窦全胜 鲁明羽
• 来源期刊: 计算机工程与应用
• 关键词: 有监督主题模型 半监督学习 不均衡文本 分类
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 模式识别与人工智能|Pattern Recognition and Artificial Intelligence
• 页码范围: 144-154
• 页数: 11页
• 分类号: TP181
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2003-0240

摘要

在标签均衡分布且标注样本足够多的数据集上,监督式分类算法通常可以取得比较好的分类效果.然而,在实际应用中样本的标签分布通常是不均衡的,分类算法的分类性能就变得比较差.为此,结合SLDA(Supervised LDA)有监督主题模型,提出一种不均衡文本分类新算法ITC-SLDA(Imbalanced Text Categorization based on Supervised LDA).基于SLDA主题模型,建立主题与稀少类别之间的精确映射,以提高少数类的分类精度.利用SLDA模型对未标注样本进行标注,提出一种新的未标注样本的置信度计算方法,以及类别约束的采样策略,旨在有效采样未标注样本,最终降低不均衡文本的倾斜度,提升不均衡文本的分类性能.实验结果表明,所提方法能明显提高不均衡文本分类任务中的Macro-F1和G-mean值.