分布式大数据不一致性检测?

• 作者: 姜涛 李卫榜 李战怀 杨婧颖 陈群
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 函数依赖 不一致性 冲突检测 分布式数据 大数据
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 数据库技术
• 页码范围: 2068-2085
• 页数: 18页
• 分类号: TP311
• 字数: 15942字
• 语种: 中文

摘要

关系数据库中可能存在数据不一致性现象，关系数据库数据质量的一个主要问题是存在违反函数依赖情况。为找出不一致数据，需要进行函数依赖冲突检测。集中式数据库中可以通过 SQL 技术检测不一致情况，尽管检测效率不高；而分布式环境下不一致性检测更富有挑战性，不仅需要考虑数据的迁移，检测任务如何分配也是一个难题。在大数据背景下，上述问题更加突出。提出了一种分布式环境单函数依赖不一致性检测方法，给出了不一致性检测响应时间代价模型。为减少数据迁移量和响应时间，基于等价类对待检测数据进行预处理。由于分布式环境不一致性检测问题为 NP-hard 问题，多项式时间内难以得到最优解，给出了代价模型的多项式时间3/2-近似最优解。提出了一种分布式环境多函数依赖不一致性检测方法，基于最小集合覆盖理论，通过一次数据遍历，对多个函数依赖进行并行批检测，同时考虑检测过程中的负载均衡等问题。在真实和人工数据集上的实验表明：相对于传统的检测方法以及基于Hadoop的Na?ve方法，所提出的检测方法检测效率有明显的提升，且扩展性能良好。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李战怀	西北工业大学计算机科学学院	254	2139	21.0	35.0
2	陈群	西北工业大学计算机科学学院	54	495	11.0	20.0
3	姜涛	西北工业大学计算机科学学院	11	53	5.0	7.0
4	李卫榜	西北工业大学计算机科学学院	4	22	2.0	4.0
5	杨婧颖	西北工业大学计算机科学学院	2	18	2.0	2.0