基于长度过滤和有效权值的SNM改进算法

• 作者: 郭文龙
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 相似重复记录 数据清洗 有效权值 SNM算法
• 年，卷（期）: 2014,（19）
• 所属期刊栏目: 数据库、数据挖掘、机器学习
• 页码范围: 123-127
• 页数: 5页
• 分类号: TP311
• 字数: 4718字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1312-0162

摘要

异构数据库集成中产生了相似重复记录，但数量是有限的，采用传统的SNM算法进行检测，需要在窗口内对所有记录进行比对，效率不高。针对这一缺陷，提出一种基于长度过滤和有效权值的SNM改进算法，在窗口内根据两条记录的长度比例首先将不可能构成相似重复记录的数据排除在外，减少了记录比较的次数，提高了检测效率；进一步通过设置属性有效性因子和权重比例计算有效权值，利用有效权值进行检测，提高了查全率和查准率。实验证明改进算法在各种性能上均优于SNM算法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭文龙	福建江夏学院电子信息科学学院	21	57	4.0	7.0