基于二次模糊评判的相似重复记录检测方法

• 作者: 黄建琼
• 来源期刊: 江苏师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 相似重复记录 属性 等级 权值 检测 模糊评判
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 信息科学与技术
• 页码范围: 39-42
• 页数: 4页
• 分类号: TP311
• 字数: 3802字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-4298.2016.01.011

摘要

数据库集成时会产生大量的相似、重复记录，字段匹配算法是对其进行检测并清洗的主要方法之一。针对等级法确定属性权值主观性过强的问题，提出改进的基于二次模糊评判的检测方法。根据等级法对属性进行第一次评判，剔除等级低的部分非重要属性；对剩余属性进行二次模糊评判，平均属性等级评判的结果，确定属性权值，然后对数据集进行分组，并在各个数据集中检测相似重复记录。理论分析和实验结果表明，该方法不仅提高了运行效率，而且可以进一步提高查重的查准率和查全率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄建琼	福州外语外贸学院信息系	22	28	3.0	4.0