基于大数据处理的ETL框架的研究与设计

• 作者: 沈琦 陈博
• 来源期刊: 电子设计工程
• 学科: 工学
• 关键词: 大数据处理 数据抽取 数据转换 数据加载 ETL框架
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 计算机技术与应用
• 页码范围: 25-27,34
• 页数: 4页
• 分类号: TN709
• 字数: 2954字
• 语种: 中文

摘要

针对传统抽取、转换、装载（ETL）架构在数据处理过程控制方面和数据产品开发效率方面的不足，提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点，设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时，以配置文件的方式开发，使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具，在对数据处理过程（E、T、L）的控制方面得到了改进，同时也可以使数据开发人员从大量重复的操作中解脱出来，将更多的精力放在数据的逻辑处理方面。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈琦		23	111	6.0	9.0
2	陈博		6	29	1.0	5.0