基于LDA主题模型的短文本分类

• 作者: 包武杰 杨萌萌 程露红 马平 黄浩
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 潜在狄利克雷分布(LDA) 向量空间模型(VSM) 短文本分类 K近邻(K-nearestneighbor) 吉布斯采样 相似度计算
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 智能技术
• 页码范围: 3371-3377
• 页数: 7页
• 分类号: TP302.7
• 字数: 5402字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2016.12.044

摘要

针对传统VSM(vector space model)在短文本分类中维数高、语义特征不明显的问题,提出基于LDA(latent Dirichlet allocation)模型主题分布相似度分类方法;针对短文本内容少、长度短、特征稀疏的问题,提出基于LDA模型主题-词分布矩阵的主题分布向量改进方法.与传统VSM分类方法相比,该方法降低了相似度计算维度,融合了一定语义特征.实验结果表明,与传统VSM分类方法相比,基于主题分布相似度方法的平均F1值提高了4.5%,基于LDA模型主题-词分布矩阵主题分布向量改进方法的平均F1值提高了5.2%,验证了以上方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄浩	新疆大学信息科学与工程学院	34	106	5.0	9.0
2	杨萌萌	新疆大学信息科学与工程学院	3	39	2.0	3.0
3	包武杰	新疆大学信息科学与工程学院	2	35	2.0	2.0
4	马平	新疆大学信息科学与工程学院	3	38	2.0	3.0
5	程露红	新疆大学信息科学与工程学院	3	38	2.0	3.0