一个面向大规模数据仓库数据清洗策略的研究和实现

• 作者: 嵇晓 汪恒杰 胡大斌
• 来源期刊: 工程地质计算机应用
• 学科: 工学
• 关键词: 数据仓库 数据清洗 COBRA CWM 算法
• 年，卷（期）: 2004,（3）
• 页码范围: 10-13
• 页数: 4页
• 分类号: TP301.6

摘要

随着数据仓库和数据挖掘等商务智能技术在企业应用中的逐步实现，原始生产数据的集成并产生新的面向主题的、集成的、时变的、稳定的数据集合，就成为必须的支撑条件。但企业的数据往往存在着大量质量问题，这将直接影响基于企业数据的信息服务的质量。数据清洗就是通过各种措施，从准确性、一致性、无冗余、符合应用的需求等方面提高数据的质量。本文针对ETL过程中的数据清洗任务，提出了结合改进的N-Gram文法纠错算法和GDBR泛化算法的数据清洗策略，并根据COBRA和CWM标准开发了接口应用工具。实践表明，该策略是可行并且有效的。