大数据上基于Hadoop的不一致数据检测与修复算法

• 作者: 张安珍 李建中 王宏志 门雪莹 高宏
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 数据一致性 MapReduce 条件函数依赖 数据质量
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 数据库技术
• 页码范围: 1044-1055
• 页数: 12页
• 分类号: TP311
• 字数: 8526字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1411043

摘要

随着现代社会互联网的普及应用，产生的海量数据普遍存在质量问题。针对数据质量中不一致性问题进行研究，设计并实现了基于Hadoop并行平台的不一致数据检测与修复算法。采用数据依赖理论中的条件函数依赖，根据给定规则检测不一致数据集，对这些不一致数据求解修复方案，使得修复结果满足数据一致性要求，并给出修复结果的确定性概率。最后通过实验证明了该算法较已有的单机算法有更好的修复效果，当约束规则较少的情况下，算法执行时间呈线性增长。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李建中	哈尔滨工业大学计算机科学与技术学院	237	6003	33.0	72.0
2	王宏志	哈尔滨工业大学计算机科学与技术学院	69	557	12.0	21.0
3	高宏	哈尔滨工业大学计算机科学与技术学院	109	1574	18.0	36.0
4	张安珍	哈尔滨工业大学计算机科学与技术学院	3	18	1.0	3.0
5	门雪莹	哈尔滨工业大学计算机科学与技术学院	1	17	1.0	1.0