一种PST_LDA中文文本相似度计算方法

• 作者: 张超 李琼 陈利
• 来源期刊: 计算机应用研究
• 关键词: 词性标注 LDA模型 PST_LDA模型 文本相似度计算
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 375-377,383
• 页数: 4页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.02.012

摘要

为了降低中文文本相似度计算方法的时间消耗、提高文本聚类的准确率,提出了一种PST_LDA(词性标注潜在狄利克雷模型)中文文本相似度计算方法.首先,对文本中的名词、动词和其他词进行词性标注;然后,分别对名词、动词和其他词建立相应的LDA主题模型;最后,按照一定的权重比例综合这三个主题模型,计算文本之间的相似度.由于考虑了不同词性的词集对文本相似度计算的贡献差异,利用文本的语义信息提高了文本聚类准确率.将分离后的三个词集的LDA建模过程并行化,减少建模的时间消耗,提高文本聚类速度.在Tan-Corp-12数据集分别用LDA和PST_LDA方法进行中文文本相似度计算模拟实验.实验结果显示,PST_LDA方法不仅减少了建模时间消耗,同时在聚类准确率上有一定的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈利	华中师范大学计算机学院	30	156	7.0	10.0
2	张超	华中师范大学计算机学院	23	55	3.0	7.0
3	李琼	汉口学院计算机科学与技术学院	10	96	3.0	9.0