基于N-Gram算法的数据清洗技术

• 作者: 宋凯 纪建伟 马平全
• 来源期刊: 沈阳工业大学学报
• 学科: 工学
• 关键词: 相似度 相似重复记录 属性 排序 合并 数据清洗 查全率 查准率
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 信息科学与工程
• 页码范围: 67-72
• 页数: 6页
• 分类号: TP311.11
• 字数: 4056字
• 语种: 中文
• DOI: 10.7688/j.issn.1000-1646.2017.01.13

摘要

针对数据库中存在的大量相似重复数据，对相似重复记录的属性结构以及产生原因进行了分析，采用N-Gram算法对数据记录进行计算，得到代表每条记录属性的键值，即N-Gram值。依据该键值将数据库中的数据记录进行排序处理，建立有序的数据库，并对其中的数据记录进行相似度计算。运用排列合并的清洗思想对识别出来的相似重复数据记录进行清洗，实验结果表明， N-Gram算法有效提高了相似重复数据记录的查全率和查准率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋凯	沈阳农业大学信息与电气工程学院	68	385	12.0	17.0
3	纪建伟	沈阳农业大学信息与电气工程学院	94	628	13.0	20.0
4	马平全	沈阳农业大学信息与电气工程学院	6	26	3.0	5.0