面向运营商大数据的分布式ETL研究与设计

• 作者: 杨杉 程新洲 苏飞 董润莎 袁明强
• 来源期刊: 邮电设计技术
• 学科: 工学
• 关键词: ETL 协同工作 分布式系统 Hadoop
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: ?本期关注/Monthly Focus
• 页码范围: 47-52
• 页数: 6页
• 分类号: TN919
• 字数: 4871字
• 语种: 中文
• DOI: 10.16463/j.cnki.issn1007-3043.2016.08.010

摘要

ETL主要用于整合不同信息系统中的异构数据，实现数据对上层业务用户的透明性，它是构建高质量的数据仓库的关键。针对某省级运营商的数据ETL需求，提出了一种分布式的ETL解决方案：基于MapReduce框架完成数据的非实时ETL功能；而针对实时ETL需求，则将ETL集群与Hadoop节点合设，充分利用Hadoop集群提供的集群管理功能，实现实时ETL的任务调度，从而提高了多服务器之间的协同性，也充分利用了服务器的硬件能力，节约了设备投资。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程新洲		20	24	2.0	4.0
2	袁明强		5	14	2.0	3.0
3	苏飞		4	10	2.0	3.0
4	董润莎		3	8	2.0	2.0
5	杨杉		5	10	2.0	3.0