复杂业务领域数据清洗规则冲突检测方法

• 作者: 何俊 张云飞 张德海 杨雪
• 来源期刊: 昆明理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据清洗 分级规则库 冲突检测 扶贫领域
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 机械、电子信息与自动控制
• 页码范围: 50-57
• 页数: 8页
• 分类号: TP311
• 语种: 中文
• DOI: 10.16112/j.cnki.53-1223/n.2020.02.007

摘要

针对复杂业务领域中采用规则库进行数据清洗的方法存在逻辑冲突频发和出错率高的问题,提出一种基于分级规则库的数据清洗方法(Hierarchical Rule Data Cleaning Method,HRDCM).设计分级规则库数据清洗框架,自顶向下构建规则库的逻辑关系,采用逐级向下约束的方式建立规则冲突检测机制,并给出相应的算法.以扶贫领域为例构建三级规则库,采用某贫困县的扶贫数据开展实验,结果表明HRDCM方法的规则逻辑冲突减少后使清洗效率提升,清洗结果出错率降低,验证了方法的科学性和合理性.