基于数据仓库的相似重复记录的识别与检测

• 作者: 彭璐
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 嵌套循环法(NL) 多趟邻近排序法(MPN) 位置编码法(PCM) 记录分组法(RGM)
• 年，卷（期）: 2011,（3）
• 所属期刊栏目: 算法与分析
• 页码范围: 30-35
• 分类号: TP391
• 字数: 3809字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2011.03.009

摘要

清除相似重复记录首先需要识别出标识同一个实体的相似重复记录,主要有两种方法:一种通过比较记录对应的整个字符串之间的相似度来决定记录是否表示现实中同一实体;另一种则以记录中的字段为基础进行匹配.先设定一个文本相似度,然后利用记录间的文本相似度来判定两条记录是否相似,如果两条记录的文本相似度大于某个预先指定的阀值,则判定这两条记录是重复的,反之亦然.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭璐	武汉科技大学城市学院信息工程学部	8	45	2.0	6.0