关于重复记录数据清理算法研究

• 作者: 张伟 蔡钟杰 雷斌
• 来源期刊: 信息技术与信息化
• 关键词: 记录排序 重复记录清理 重复记录识别
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 研究与探讨讨
• 页码范围: 32-34,40
• 页数: 4页
• 字数: 1744字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9528.2013.04.06

摘要

本文改进了重复记录清理算法中所存在的缺陷。改进后的算法，有较好的记录的匹配率保证，而且显著提升了记录排序的效率；在重复记录识别时，考虑了以下五个因素：匹配字段的文字数量、在二个字段中出现的频率、在记录中各字段的权重、中文字段的语义以及语义重点偏后；合并重复记录时采用的策略是聚类和实用算法并用，算法的准确性和健壮性得到了提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张伟	兰州交通大学机电技术研究所	32	140	7.0	8.0
2	雷斌	兰州交通大学机电技术研究所	38	166	7.0	11.0
3	蔡钟杰	兰州交通大学机电技术研究所	1	6	1.0	1.0