一种大数据量的相似记录检测方法

• 作者: 徐立臻 董逸生 韩京宇
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 数据清洗 q-gram 相似重复记录 层次聚类
• 年，卷（期）: 2005,（12）
• 所属期刊栏目: 数据库技术
• 页码范围: 2206-2212
• 页数: 7页
• 分类号: TP311.13
• 字数: 7038字
• 语种: 中文

摘要

大数据量的相似重复记录检测是数据清洗中的一个重要问题,提出一种基于q-gram层次空间的聚类检测方法:它首先将数据映射成q-gram空间中的点,并根据q-gram空间中的相似性度量采用层次聚类方法将相似的重复记录检测出来.它克服了传统的"排序&合并"方法由于字符位置敏感不能将相似记录字符串排在邻近位置的不足和大数量外排序引起I/O代价过大的问题.理论分析和实验表明,方法不仅具有好的检测精度,且有好的伸缩性,能够有效地解决大数据量的相似重复记录检测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐立臻	东南大学计算机科学与工程系	52	1042	17.0	31.0
2	董逸生	东南大学计算机科学与工程系	118	3003	29.0	49.0
3	韩京宇	东南大学计算机科学与工程系	10	188	7.0	10.0