基于划分的海量数据相似重复记录检测

• 作者: 张晓雯 李莉
• 来源期刊: 计算机系统应用
• 关键词: 数据质量 数据清洗 相似重复记录 划分 SNM算法
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 172-178
• 页数: 7页
• 字数: 6097字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006835

摘要

针对目前社工库存储的海量数据,数据冗余、查询效率低下的质量问题,本文提出了一种有效的基于划分的近邻排序算法.对不同渠道采集、以不同存储方式存储的社工数据进行整合形成能以二维表形式存储的海量数据集,采用划分思想,对大数据集进行分割,形成簇;采用改进的近邻排序算法对各个簇中的小数据集进行检测得到最终的相似重复记录检测结果.实验和对比分析结果表明,划分和近邻排序算法的结合使用不仅提高了海量数据相似重复记录检测的时间效率,检测准确率也有所提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李莉	江苏大学计算机科学与通信工程学院	34	139	7.0	11.0
2	张晓雯	江苏大学计算机科学与通信工程学院	2	2	1.0	1.0