结合关键词微变和LD算法的文本相似性研究

• 作者: 任勇 梁辉 王一宾 程玉胜
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 聚类 LD算法 文本相似度矩阵 向量空间模型 文本相似性
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 70-73,124
• 页数: 5页
• 分类号: TP391.1
• 字数: 4586字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1406-0027

摘要

为了解决基于传统向量空间模型的文本相似性算法没有考虑向量高维及关键词的微变,而导致文本相似性计算结果不够精确的问题,提出了关键词微变情况下基于聚类和LD算法的文本相似性算法TSABCLDA(Text Similarity Algorithm Based on Clustering and LD Algorithm).对文本进行移除数字、标点符号和停用词等预处理;采用聚类的方法约简文本中的低频词,利用LD算法计算特征词间的相似度,建立文本相似度矩阵;用特征词相似度及其权重构建的空间向量计算文本间的相似度,这样不仅考虑了关键词微变的情况,而且有效地解决了文本向量的高维问题,将其应用于文本挖掘中,能够提高相似文本的挖掘效率.实验结果表明,由于考虑了关键词微变情况,在一定的阈值范围内,该算法文本相似性的准确率得到了明显的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程玉胜	安庆师范学院计算机与信息学院	81	339	9.0	14.0
5	王一宾	安庆师范学院计算机与信息学院	63	407	10.0	18.0
9	梁辉	安庆师范学院统计学研究所	3	13	3.0	3.0
10	任勇	安庆师范学院统计学研究所	3	3	1.0	1.0