基于LDA模型的文本分类研究

• 作者: 姚全珠 宋志理 彭程
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本分类 潜在狄利克雷分配(LDA)模型 Gibbs抽样 贝叶斯统计理论
• 年，卷（期）: 2011,（13）
• 所属期刊栏目: 数据库、信号与信息处理
• 页码范围: 150-153
• 分类号: TP181
• 字数: 4221字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2011.13.043

摘要

针对传统的降维算法在处理高维和大规模的文本分类时存在的局限性,提出了一种基于LDA模型的文本分类算法,在判别模型SVM框架中,应用LDA概率增长模型,对文档集进行主题建模,在文档集的隐含主题-文本矩阵上训练SVM,构造文本分类器.参数推理采用Gibbs抽样,将每个文本表示为固定隐含主题集上的概率分布.应用贝叶斯统计理论中的标准方法,确定最优主题数T.在语料库上进行的分类实验表明,与文本表示采用VSM结合SVM,LSI结合SVM相比,具有较好的分类效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚全珠	西安理工大学计算机科学与工程学院	84	918	15.0	26.0
2	彭程	西安理工大学计算机科学与工程学院	2	105	2.0	2.0
3	宋志理	西安理工大学计算机科学与工程学院	2	105	2.0	2.0