基于Newshingling的相似文本检测算法

• 作者: 李鹏 蔡丽静 赵德平
• 来源期刊: 沈阳建筑大学学报（自然科学版）
• 学科: 工学
• 关键词: 空间向量模型 文本相似度 Shingling算法 分词
• 年，卷（期）: 2011,（4）
• 所属期刊栏目: 信息与控制
• 页码范围: 771-775
• 分类号: TP391
• 字数: 3987字
• 语种: 中文

摘要

目的 构造一种新的文本查重算法,改变传统的Shingling网页去重算法,提高文本的相似度计算率,提高查准率和查全率.方法 改变传统的Shingling算法,先删除文本中无意义的虚词,再根据语意对文本进行分片,进而利用文本相似度计算公式对文本相似度进行计算.结果 该算法提高了文本相似度计算的准确性,同时文本的查准率提高了10%左右,查全率提高了5%左右.结论 实验表明,笔者所提算法实现简单、可行、具有良好的文本相似度计算效果,具有一定的优越性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵德平	沈阳建筑大学理学院	65	197	8.0	11.0
2	李鹏	沈阳建筑大学信息与控制工程学院	24	106	6.0	10.0
3	蔡丽静	沈阳建筑大学信息与控制工程学院	1	8	1.0	1.0