一种使用双阈值的数据仓库环境下重复记录消除算法

• 作者: 孙未未 施伯乐 洪圆
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 重复记录消除 数据仓库 外键参照 双阈值
• 年，卷（期）: 2005,（1）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 168-170,216
• 页数: 4页
• 分类号: TP311
• 字数: 4589字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2005.01.052

摘要

重复记录消除是数据清理研究中一个很重要的方面,它的目的是检测并消除那些冗余的、可能对后来的OLAP和数据挖掘造成影响的数据.已有研究都是通过设定一个相似度阚值来判断两条记录是否为重复记录.过大的阈值将导致返回率下降,过小的阈值将导致误检率上升.文章提出了一种双阈值的重复记录消除方法,利用数据仓库环境下数据库表之间的外键联系做进一步判断,可以有效地提高判断质量,减小误检率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	施伯乐	复旦大学计算机与信息技术系	188	4414	33.0	61.0
2	孙未未	复旦大学计算机与信息技术系	24	321	7.0	17.0
3	洪圆	复旦大学计算机与信息技术系	3	47	2.0	3.0