基于长度过滤和动态容错的SNM改进算法

• 作者: 刘雅思 李晓 程力
• 来源期刊: 计算机应用研究
• 关键词: 数据清洗 相似重复记录 SNM算法 动态容错 字段匹配
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 软件技术研究
• 页码范围: 147-150,155
• 页数: 5页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.01.031

摘要

数据仓库中相似重复记录的清洗对于数据质量影响很大，传统的基本邻近排序算法（sorted-neighbor-hood method，SNM）时间效率和准确率均不高。针对SNM算法的缺陷，提出了一种基于长度过滤和动态容错的SNM改进算法。根据两条记录的长度比例和属性缺失情况，首先排除一部分不可能构成相似重复记录的数据，减少比较次数，提高检测效率；进一步提出了动态容错法，校准字段相似度评判结果，解决了因属性缺失而误判的问题，提高了准确率。针对实际数据集的实验分析表明，在相同的运算环境下，优化算法在准确率和时间效率上有明显优势。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李晓	中国科学院新疆理化技术研究所	192	3933	35.0	55.0
3	程力	中国科学院新疆理化技术研究所	6	37	4.0	6.0
9	刘雅思	中国科学院新疆理化技术研究所	1	13	1.0	1.0