一种改进的相似重复记录检测算法

• 作者: 郭文龙
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 相似重复记录 属性 检测 MPN算法
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 算法
• 页码范围: 293-295
• 页数: 3页
• 分类号: TP311
• 字数: 3195字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.01.079

摘要

数据仓库中相似重复记录的清洗对于提高数据质量有着重要意义，传统的判重算法有SNM算法、MPN算法及KNN算法等。针对MPN算法判重精度和时间效率不高等缺陷，提出一种改进的MPN算法。根据记录属性的重要性分别设定属性权值，将属性切分为原子，进一步计算原子的权值，通过判定属性相似度进而判定记录相似度，提高查准率和查全率。采用均分大数据集为若干数据子集，并行采用MPN算法进行判重，提高判重时间效率。理论和实验分析表明该方法提高了相似重复记录检测的准确率和时间效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭文龙	福建江夏学院电子信息科学学院	21	57	4.0	7.0