基于分块和滑窗技术的相似重复记录检测算法研究

• 作者: 杜璐 胡康 陈亮
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 数据质量 相似重复记录检测 窗口技术 分块技术
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 算法
• 页码范围: 262-267
• 页数: 6页
• 分类号: TP311
• 字数: 4628字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2019.04.042

摘要

相似重复记录检测对于提高数据质量有着重要意义.为了减少检测代价和提高运行效率,基于传统的窗口技术和分块技术,提出一种相似重复记录检测算法.该算法利用关键字段将数据集进行排序和分块,并利用滑动窗口技术限制分块间比对.设计一种多字段排序改进算法,对不同字段的分块共同聚类,优先比较重复密度大的分块对,摒弃聚类较差的分块.该算法减少了检测过程中的数据比较次数,并降低了字段好坏对算法速度的影响.理论和实验分析表明,该算法能有效地提高相似重复记录检测的准确率和时间效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈亮	西安工程大学计算机科学学院	27	102	6.0	7.0
2	胡康	西安工程大学计算机科学学院	4	11	2.0	3.0
3	杜璐	西安工程大学计算机科学学院	1	3	1.0	1.0