基于增量自适应的邻近排序算法优化

• 作者: 李军 杨晓东 王继荣 王芳
• 来源期刊: 青岛大学学报（自然科学版）
• 学科: 工学
• 关键词: 相似重复记录 数据清洗 增量自适应 SNM算法
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 信息工程
• 页码范围: 53-57
• 页数: 5页
• 分类号: TP301.6
• 字数: 3098字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-1037.2017.05.12

摘要

数据库中相似重复记录的清洗是提高数据质量的有效措施,传统的邻近排序算法SNM的滑动窗口难以确定,而且要对窗口内的所有记录进行比对,效率不高.针对SNM算法的这一缺陷,提出了窗口大小动态变化的增量自适应的SNM算法,窗口的大小由当前出口的大小、窗口内第一条和最后一条记录的距离以及记录最短记录阈值确定,这样可以去掉很多无用的比较操作,提升数据清洗效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李军	青岛大学计算机科学技术学院	58	353	9.0	17.0
2	王芳	青岛大学计算机科学技术学院	79	263	8.0	13.0
3	王继荣	青岛大学机电工程学院	56	236	8.0	13.0
4	杨晓东	青岛大学计算机科学技术学院	2	10	2.0	2.0