大数据环境下的相似重复记录检测方法

• 作者: 殷秀叶
• 来源期刊: 武汉工程大学学报
• 学科: 工学
• 关键词: 相似重复记录 大数据 同义属性
• 年，卷（期）: 2014,（9）
• 页码范围: 66-69
• 页数: 4页
• 分类号: TP393
• 字数: 3316字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-2869.2014.09.013

摘要

大数据环境下的相似重复记录影响数据统计分析结果的准确性,需要过滤相似重复记录.对相似重复记录检测的研究现状做了介绍,在此基础上提出了属性加权的思想,对属性进行加权,并根据属性权值进行排序分组;在对属性加权时,考虑到一些字段的取值是一一对应的关系,权值相同,提出了同义属性的概念,在原数据集的基础上排除部分同义属性来缩减数据集,提高重复数据检测的效率,最后给出了相似重复记录判定的方法.考虑到大数据集给重复记录检测带来的挑战,将大数据集拆分成若干小数据集,充分利用MapRe-duce机制进行处理,将大数据集按照权重较大的属性取值进行分组,分割成若干个map任务,分别进行处理.实验结果表明,该方法能够有效地提高相似重复记录检测的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	殷秀叶	周口师范学院计算机科学与技术学院	21	52	4.0	6.0