Web信息整合中的数据去重方法

• 作者: 刘雪琼 武刚 邓厚平
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Web信息整合 相似重复记录 动态权重 模糊实体匹配
• 年，卷（期）: 2013,（9）
• 所属期刊栏目: 数据库技术
• 页码范围: 2493-2496
• 页数: 4页
• 分类号: TP311.13
• 字数: 5382字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2013.09.2493

摘要

针对现有数据去重方法中存在的时间效率和检测精度低的问题,结合Web信息整合的特点,提出一种逐级聚类的数据去重方法(SCDE).首先通过关键属性分割和Canopy聚类将数据划分成小记录集,然后精确检测相似重复记录,并提出基于动态权重的模糊实体匹配策略,采用动态权重赋值,降低属性缺失对记录相似度计算带来的影响,并对名称的特殊性进行处理,提高匹配准确率.实验结果显示:该方法在时间效率和检测精度上均优于传统算法,其中准确率提高12.6％.该方法已应用于林业黄页系统中,取得了较好的应用效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	武刚	北京林业大学信息学院	34	438	9.0	20.0
2	邓厚平	北京林业大学信息学院	2	11	2.0	2.0
3	刘雪琼	北京林业大学信息学院	1	6	1.0	1.0