大数据环境下基于元模型控制的数据质量保障技术研究

• 作者: 徐晨阳 杨冬菊
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 大数据 数据仓库 ETL 元数据模型 映射 数据集成
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 高性能计算
• 页码范围: 197-206
• 页数: 10页
• 分类号: TP393
• 字数: 5928字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.02.002

摘要

数据集成环节, 越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难.针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题, 提出了基于元数据模型控制的ETL集成模型, 并对数据集成过程中的各种映射规则进行了详细的定义, 通过将抽取、转换、加载环节的元模型和映射机制相结合, 能够有效地保证集成后数据的数据质量.提出的元模型已经应用到科技资源管理数据集成业务中.通过科技资源管理数据集成实例分析, 验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨冬菊		12	55	5.0	7.0
5	徐晨阳		1	3	1.0	1.0