一种针对关系数据库记录的相似重复记录检测算法

• 作者: 郑广海 马可
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 相似重复记录 snm算法 检测
• 年，卷（期）: 2018,（5）
• 页码范围: 25-28
• 页数: 4页
• 分类号: TP301

摘要

在大数据处理分析中,需要对数据记录进行相似重复记录检测并消除,可以提高数据记录的质量。邻近排序算法（SNM算法）是对数据库所有记录进行排序比对,新记录和旧记录都需要比对,而旧记录的相互比是已经做过的,这就造成了一定的计算浪费。在考虑尽量减少这种计算浪费的基础上,提出了一种针对关系数据库记录的相似重复记录检测算法,算法首先创建记录属性关系表,设定属性的相应权重和相似度阈值,通过属性关系表计算记录和其他记录的相似度,从而完成对相似重复记录的检测。实验表明新的算法的效率比SNM算法有一定提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑广海		23	56	5.0	6.0
2	马可		2	1	1.0	1.0