大型数据库重复记录检测与优化研究

• 作者: 唐吉深 覃少华
• 来源期刊: 现代电子技术
• 关键词: 大型数据库 重复记录检测 重复记录优化 学习样本构建 最优位置确定 权值设置
• 年，卷（期）: 2020,（17）
• 所属期刊栏目: 网络与信息安全
• 页码范围: 77-81
• 页数: 5页
• 分类号: TN911.1-34|TP311
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.17.018

摘要

研究大型数据库重复记录检测与优化,利用Jaro算法以及TF-IDF算法计算大型数据库不同记录字段相似度量函数,所获取字段相似度量函数作为记录特征向量,经过人工标记后设置为BP神经网络期望输出.构建BP神经网络学习样本,设置变参数量子粒子群初始连接权值与阈值作为粒子,利用BP神经网络依据学习训练样本获取量子粒子群适应度函数值,确定粒子此刻最优位置以及全局最优位置.将全局最优位置粒子设置为BP神经网络初始连接阈值以及权值,重复更新粒子位置,利用所获取训练集学习结果建立大型数据库重复记录检测模型,检测模型输出结果大于检测门限值时,该记录为大型数据库内重复记录,否则为非重复记录.实验结果表明,采用该方法检测包含100000条记录的大型数据库,检测召回率以及准确率均高于98.5％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	覃少华		25	88	5.0	8.0
2	唐吉深		9	7	2.0	2.0