基于伸缩窗口和等级调整的SNM改进方法

• 作者: 丁晨路 刁兴春 宋金玉 曹建军 陈爽
• 来源期刊: 计算机应用研究
• 关键词: 数据清洗 相似重复记录 变步长伸缩窗口 动态调整等级 基本邻近排序算法
• 年，卷（期）: 2013,（9）
• 所属期刊栏目: 软件技术研究
• 页码范围: 2736-2739
• 页数: 4页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.09.044

摘要

对基本邻近排序算法(basic sorted-neighborhood method,SNM)进行分析,指出其不足,提出了SNM算法的一种改进方法.采用变步长伸缩窗口,动态改变检测窗口大小,避免漏配问题,并减少不必要的比较.采用动态调整等级法,根据记录相似度调整字段等级,并通过等级法将字段等级转换为权重,解决了人为赋予固定权重主观性强、不准确的问题.通过对实际系统中的数据进行测试,验证了方法的有效性和优越性.同时,这两种方法适用于大多数基于排序—合并的相似重复记录检测方法,提高了相应方法的效率和准确度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋金玉	解放军理工大学指挥信息系统学院	20	169	7.0	12.0
2	刁兴春	解放军理工大学指挥信息系统学院	9	136	4.0	9.0
6	曹建军		10	115	7.0	10.0
7	丁晨路		2	26	1.0	2.0