基于模糊综合评判的相似重复记录清洗方法

• 作者: 董建怀 郭文龙
• 来源期刊: 北京信息科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 相似重复记录 属性 模糊综合评判 算法
• 年，卷（期）: 2017,（4）
• 页码范围: 59-63
• 页数: 5页
• 分类号: TP311
• 字数: 4072字
• 语种: 中文
• DOI: 10.16508/j.cnki.11-5866/n.2017.04.012

摘要

相似重复记录清洗对于提高数据仓库的数据质量有极其重要的意义,字段匹配算法是最常用的检测算法之一.针对该算法中属性权值确定主观性过强的问题,提出基于多用户模糊综合评判确定属性等级并根据用户评价结果计算属性权值的方法.在此基础上,进一步将属性切分为原子,通过计算原子相似度进而计算属性相似度,最后进行记录判重.实验结果表明该方法能较客观地反映属性的重要程度,通过切分属性为原子并判重也进一步提高了检测的精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭文龙	福建江夏学院电子信息科学学院	21	57	4.0	7.0
2	董建怀	福建江夏学院电子信息科学学院	6	3	1.0	1.0