改进LDA模型的短文本聚类方法

• 作者: 孙红 俞卫国
• 来源期刊: 软件导刊
• 关键词: 主题模型 改进LDA模型 文本聚类 概率生成模型 短文本 主题挖掘
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 人工智能
• 页码范围: 1-6
• 页数: 6页
• 分类号: TP301
• 语种: 中文
• DOI: 10.11907/rjdk.202315

摘要

在短文本聚类模型中,传统LDA模型没有考虑文本与主题之间的联系.提出一种具有判别学习能力的LDA模型,在LDA-λ模型中将二项分布引入LDA基础模型,增加词项的判别能力.对模型进行理论分析与对比试验,结果表明,基于改进的LDA模型精确度(ACC)、归一化互信息(NMI)和成对F测度值(PWF)比较高,分别达到0.7384、0.8191、0.6941,比传统的LDA模型分别提高1.62％、2.51％、1.2％,比VSM模型分别提高2.83％、10.99％、1.89％,基于改进的LDA模型在聚类问题处理上要优于LDA模型和VSM.