大数据库的相似记录检测方法研究

• 作者: 涂静文
• 来源期刊: 计算机仿真
• 学科: 工学
• 关键词: 大数据库 相似记录 检测
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 仿真服务化
• 页码范围: 410-413
• 页数: 4页
• 分类号: TP393
• 字数: 3971字
• 语种: 中文

摘要

对大数据库的相似记录进行准确检测,可以检测提高数据库重复记录检测效果.对数据库中非重要数据进行删除,对剩余数据属性进行分类是相似记录检测的重要前提,但是传统方法量子粒子群算法只能对整体数据相似度特征样本进行训练,不能消除数据库中的非重要数据,增加了检测时间,降低了相似记录检测的效率.提出改进二次模糊评判的大数据库的相似记录检测方法.上述方法先依据等级法对大数据库中全部数据属性进行第一次评判,消除数据库中非重要数据属性,对剩余数据属性进行二次模糊评判,并均衡其数据属性的评判结果,对数据库的全部数据属性进行分组,在此基础上计算出各组数据集的记录字段间的相似度函数,提取记录字段相似度的特征向量,组建大数据库的相似记录检测模型,完成对大数据库的相似记录检测.仿真结果表明,所提算法可以有效地提升大数据库的相似记录检测的查准率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	涂静文	江西农业大学南昌商学院	7	12	3.0	3.0