基于WMF_LDA主题模型的文本相似度计算

• 作者: 张璐 杜彦辉 芦天亮
• 来源期刊: 计算机应用研究
• 关键词: 词语语义 词语合并 词性筛选 文本相似度
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2916-2919,2951
• 页数: 5页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.04.0219

摘要

利用LDA模型进行文本相似度的计算考虑到了语义特征,但是存在词语数量多、未结合词语语义、未从文本层面挖掘和利用不同类别文本固有的领域间差异的缺点.针对以上问题,提出WMF_LDA(词语合并与过滤潜在狄利克雷分布)主题模型.将领域词和近义词进行统一化映射,并根据词性将文本进行过滤,最后再进行主题建模.实验证明,该方法使得建模时词语量大大减少,减少了建模过程的时间消耗,提高了最后的文本聚类的速度.并且与其他文本相似度方法相比,提出的方法在准确度上也有一定程度的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜彦辉	中国人民公安大学信息技术与网络安全学院	57	301	11.0	14.0
5	张璐	中国人民公安大学信息技术与网络安全学院	68	163	7.0	10.0
6	芦天亮	中国人民公安大学信息技术与网络安全学院	44	78	5.0	7.0