基于函数依赖与条件约束的数据修复方法

• 作者: 刘辉平 周傲英 金澈清
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 数据质量 数据修复 函数依赖 条件约束 等价类
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 大数据可用性理论、方法和技术专题
• 页码范围: 1671-1684
• 页数: 14页
• 分类号: TP311
• 字数: 13540字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005037

摘要

随着经济与信息技术的发展,在许多应用中均产生大量数据.然而,受硬件设备、人工操作、多源数据集成等诸多因素的影响,在这些应用之中往往存在较为严重的数据质量问题,特别是不一致性问题,从而无法有效管理数据.因此,首要的任务就是开发新型数据清洗技术来提升数据质量,以支持后续的数据管理与分析.现有工作主要研究基于函数依赖的数据修复技术,即以函数依赖来描述数据一致性约束,通过变更数据库中部分元组的属性值(而非增加/删除元组)来使得整个数据库遵循函数依赖集合.从一致性约束描述的角度来看,函数依赖并非是唯一的表达方式,还存在其他表达方式,例如硬约束、数量约束、等值约束、非等值约束等.然而,随着一致性约束种类的增加,其处理难度也远比仅有函数依赖的场景要困难.考虑以函数依赖与其他一致性约束共同表述数据库的一致性约束,并在此基础上设计数据修复算法,从而提升数据质量.实验结果表明,所提方法的执行效率较高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周傲英	华东师范大学计算机科学与软件工程学院数据科学与工程研究院	68	2290	20.0	47.0
2	金澈清	华东师范大学计算机科学与软件工程学院数据科学与工程研究院	39	1646	13.0	39.0
3	刘辉平	华东师范大学计算机科学与软件工程学院数据科学与工程研究院	5	28	2.0	5.0