开源大数据ETL工具的模块化组件构建技术研究

• 作者: 谷敏 陈佳
• 来源期刊: 信息记录材料
• 学科: 工学
• 关键词: 开源 大数据ETL 模块化 组件
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 记录:数据与存储
• 页码范围: 173-174
• 页数: 2页
• 分类号: TP311.13
• 语种: 中文

摘要

ETL(Extract-Transform-Load)技术作为大数据分析中的重要一环,近年来获得了长足发展.但为各种目的定制ETL组件则一直是一个必须在应对需求的复杂性和维持ETL系统的一致性之间难以平衡的问题.本研究通过详细分析开源大数据ETL工具的模块化组件构建的技术细节,对ETL任务的层次性分割模式和模块化逻辑功能分割方法进行了概括总结,提出了两段式构建ETL组件的模块化构建方法.