基于 LDA 的中文文本相似度计算

• 作者: 夏青松 孙昌年 郑诚
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 向量空间模型 文本相似度 自然语言处理 潜在狄里克雷分配 主题模型
• 年，卷（期）: 2013,（1）
• 页码范围: 217-220
• 分类号: TP31
• 字数: 2737字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2013.01.053

摘要

传统基于 TF-IDF 的向量空间模型的文本相似度计算存在高维、数据稀疏、缺乏语义和维度未归一等问题,基于其上的语义扩展的 TF-IDF 向量空间模型中部分解决了语义问题,但是其基于词典的词语相似度计算限制了其应用范围.提出了一种基于潜在狄利克雷分配(Latent Dirichlet Allocation, LDA)的文本相似度计算方法,LDA 模型可以在没有词典的情况下解决上述所有问题,通过吉比斯抽样方法将文本建模到主题空间,然后使用 JS(Jensen-Shannon)距离来计算文本相似度.通过聚类实验表明该方法取得了较高的 F 值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑诚	安徽大学计算机科学与技术学院	103	1013	15.0	28.0
2	夏青松	安徽大学计算机科学与技术学院	2	65	2.0	2.0
3	孙昌年	安徽大学计算机科学与技术学院	2	65	2.0	2.0