一种高效的检测相似重复记录的方法

• 作者: 周傲英 季文赟 田增平 邱越峰
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 信息集成,相似重复记录,N-Gram Pair-wise,聚类,优先队列
• 年，卷（期）: 2001,（1）
• 页码范围: 69-77
• 页数: 9页
• 分类号: TP311
• 字数: 9981字
• 语种: 中文
• DOI: 10.3321/j.issn:0254-4164.2001.01.009

摘要

如何消除数据库中的重复信息是数据质量研究中的一个热门课题.文中提出了一种高效的基于N-Gram的检测相似重复记录的方法,主要工作有：（1）提出了一种高效的基于N-Gram的聚类算法,该算法能适应常见的拼写错误从而较好地聚类相似重复记录，复杂度仅为O(N)；同时提出了该算法的改进形式,使其在检测的同时能自动校正单词的插入、删除错误，提高检测精度.（2）采用了一种高效的应用无关的Pair-wise比较算法，该算法以单词间的编辑距离为基础，通过计算两记录中单词间的编辑距离来判断记录的相似与否.（3）给出了一种改进的优先队列算法来准确地聚类相似重复记录，该算法使用固定大小的优先队列顺序扫描已排序的记录，通过比较当前记录和队列中记录的距离来聚类相似重复记录.此外，该文构造了合适的实验环境并作了大量的算法实验.在此基础上，文中分析了大量、翔实的实验结果从而验证了算法的科学性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周傲英	复旦大学计算机科学系	79	5708	32.0	75.0
2	田增平	复旦大学计算机科学系	6	373	5.0	6.0
3	邱越峰	复旦大学计算机科学系	2	275	2.0	2.0
4	季文赟	复旦大学计算机科学系	3	233	3.0	3.0