关系型数据库数据的高效判重

• 作者: 李恒新 韩坚华
• 来源期刊: 华南师范大学学报（自然科学版）
• 学科: 工学
• 关键词: Simhash CityHash MongoDB 指纹特征值 相似检测
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 计算机与计算机工程
• 页码范围: 121-126
• 页数: 6页
• 分类号: TP391
• 字数: 5543字
• 语种: 中文

摘要

对Simhash算法进行改进，用CityHash函数生成数据指纹特征值，以此对数据进行判重。在广州市某区政府的信访业务真实数据下进行了实验，实验结果相对其他算法具有较高的召回率和准确率。并提出了一种索引归类方法来提高全部数据一次性相似检测的速度，在MongoDB数据库存储指纹值的前提下，为增量数据的高效判重处理提供了保障。通过对数据的整个判重过程的改进，达到了高效、实用的价值，为科学办案、重复办案提供了参考依据。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩坚华	广东工业大学计算机学院	31	109	6.0	7.0
2	李恒新	广东工业大学计算机学院	1	9	1.0	1.0