一种基于同级字段的相似重复记录检测方法

• 作者: 殷秀叶
• 来源期刊: 软件
• 学科: 工学
• 关键词: 记录检测 同级字段 权重 大数据
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 基金项目
• 页码范围: 12-14
• 页数: 3页
• 分类号: TP393
• 字数: 2080字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2014.06.004

摘要

已有的相似重复记录检测方法侧重于研究检测的精度问题，在大数据环境下，如何缩短检测的时间非常重要。提出了一种基于同级字段的相似重复记录检测方法，首先将数据集中各字段的权重划分为主观权重和客观权重，根据权重区别不同字段的重要性，然后根据数据集中部分字段取值一一对应的特点，定义了同级字段，并利用同级字段的思想，减少了数据集中需要计算相似度的字段个数，缩短了相似重复记录检测的时间。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	殷秀叶	周口师范学院计算机科学与技术学院	21	52	4.0	6.0