一种相似重复记录检测算法的改进研究

• 作者: 戴颖 李兴国 赵启飞
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 相似重复记录 增量式 聚类树 等级法
• 年，卷（期）: 2010,（7）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 13-16
• 分类号: TP311.5
• 字数: 3471字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2010.07.004

摘要

相似重复记录检测是数据清洗领域中的一个重要方面.文中研究了在数据模式与匹配规则不变的前提下,数据集动态增加时近似重复记录的识别问题,针对基于聚类数算法精度不高、效率低下等问题提出一种改进算法.该算法运用等级法给属性赋予相应权重并约减属性,通过构造聚类树对相似记录进行聚类,增设了一个阈值以减少不必要的相似度比较次数,提高了算法的效率和准确率.最后通过实验证明了该算法的有效性,并提出了进一步的研究方向.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李兴国	合肥工业大学管理学院	93	779	14.0	23.0
2	戴颖	合肥工业大学管理学院	1	7	1.0	1.0
3	赵启飞	合肥工业大学管理学院	1	7	1.0	1.0