基于语义的数据清理技术

• 作者: 万劲伟 曹忠升
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据清理 消重 文本相似函数 语义
• 年，卷（期）: 2005,（2）
• 页码范围: 76-78
• 页数: 3页
• 分类号: TP311.13
• 字数: 2435字
• 语种: 中文
• DOI: 10.3321/j.issn:1671-4512.2005.02.025

摘要

为弥补传统的基于文本相似函数(如编辑距离、语音距离等)的方法在重复记录的识别方面的不足,对记录内部单个字段的语义以及字段之间的语义进行了研究;采用字段名与统计分析相结合的方法来识别字段内部的语义,采用语义规则库来识别字段之间的层次语义和依赖关系;将语义引入到优先队列算法中,提出了改进的优先队列法(IPQM),在计算记录之间的相似度时,显式考虑字段之间的层次语义关系,对不同的字段类型调用不同的相似度计算方法.同时将语义规则库引入到数据清理框架,在预处理阶段利用语义来处理等价类型错误,在处理阶段利用IPQM来计算记录之间的相似度.实验结果表明该框架提高了数据清理的质量,遗漏率低于7 %,误判率不超过3 %.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曹忠升	华中科技大学计算机科学与技术学院	41	613	12.0	24.0
2	万劲伟	华中科技大学计算机科学与技术学院	1	7	1.0	1.0