基于LDA模型的文本相似度研究

• 作者: 吕品 杨浩 王海晖 陈攀
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 文本挖掘 LDA模型 Gibbs抽样 文本相似度
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 82-85,89
• 页数: 5页
• 分类号: TP301
• 字数: 3336字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.04.18

摘要

LDA主题模型是近年来提出的一种具有文本表示能力的非监督学习模型。考虑到传统主题模型在处理大规模文本时存在的局限性，文中提出一种基于LDA模型的文本相似度计算方法。利用LDA为语料库建模，通过Gibbs抽样间接估算模型参数，将文本表示为固定隐含主题集上的概率分布，以此计算文本之间的相似度。最后将K-means算法作为文本相似度的评估指标。实验结果表明，与LSI模型相比，该方法能有效地提高文本相似度计算的准确性和文本聚类效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吕品	武汉工程大学计算机科学与工程学院	22	121	6.0	10.0
5	杨浩	武汉工程大学计算机科学与工程学院	25	101	6.0	9.0
6	王海晖	武汉工程大学计算机科学与工程学院	49	321	9.0	15.0
10	陈攀	武汉工程大学计算机科学与工程学院	2	25	1.0	2.0