相似重复数据检测的数据清洗算法优化

• 作者: 罗登昌 蒋园 韩旭 马丹璇
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 脏数据 相似重复 数据清洗 SNM算法
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 应用开发研究
• 页码范围: 79-82
• 页数: 4页
• 分类号: TP31
• 字数: 3971字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.10.017

摘要

数据一直是各大企业竞争的对象,而企业在采集、处理以及最终录入数据库的数据中往往存在着相似重复的数据,这些数据也即"脏数据".脏数据如果不进行处理,势必会影响后续数据的操作,最终影响到数据的质量.数据清洗是处理脏数据、提高数据质量的热门技术手段,而其中相似重复数据检测更是数据清洗中的重要方面,比如堤防工程的数据存在很多地名、经纬度、砖孔数据等等,录入到数据库时相似重复度很高.目前针对重复数据检测应用最多的是SNM(基本邻近有序法)算法,主要是先将原有的数据集进行排序,再比较排序后相邻数据的相识度.但这种算法的时间复杂度很高.文中对SNM算法进行优化,首先将数据库记录的属性值进行分类,并结合三区间排序算法进行排序来减少比对范围,最后通过设定属性的权重并求和,根据记录相似度的结果来判断.实验结果证明了该算法的正确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马丹璇		4	10	2.0	3.0
2	韩旭		3	7	1.0	2.0
3	蒋园		1	1	1.0	1.0
4	罗登昌		1	1	1.0	1.0