数据仓库中重复记录清理算法研究

• 作者: 卢志刚 张义芳 钟嘉庆
• 来源期刊: 微型机与应用
• 学科: 工学
• 关键词: 数据清理 重复记录清理 重复记录识别 数据仓库
• 年，卷（期）: 2009,（7）
• 所属期刊栏目: 软件天地
• 页码范围: 4-6
• 页数: 3页
• 分类号: TP311.13
• 字数: 2661字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-7720.2009.07.002

摘要

针对重复记录清理中的"排序、识别、合并"算法存在的问题进行了改进.改进后的重复记录清理算法在保证记录匹配率的情况下有效地提高了记录排序的效率;在重复记录识别时,考虑了匹配字段的文字数量、在2个字段中出现的频率、在记录中各字段的重要性(权重)、中文字段的语义和语义重点偏后等5个因素;合并重复记录时采用了聚类和实用算法并用的策略,有效地提高了数据仓库中重复记录清理算法的准确性和健壮性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钟嘉庆	燕山大学电气工程学院	19	188	8.0	13.0
2	卢志刚	燕山大学电气工程学院	103	1880	24.0	39.0
3	张义芳	燕山大学电气工程学院	1	6	1.0	1.0