基于MapReduce的分布式ETL调度优化方法

• 作者: 宋杰 郝文宁 陈刚 靳大尉
• 来源期刊: 指挥信息系统与技术
• 学科: 工学
• 关键词: 抽取-转换-加载 映射/化简 调度
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 理论与探索
• 页码范围: 17-20
• 页数: 4页
• 分类号: TP311
• 字数: 4058字
• 语种: 中文

摘要

分析了分布式抽取-转换-加载(ETL)节点调度方法,给出了一种根据ETL节点抽取的数据类型对所抽取数据进行分割的策略,并提出了基于映射/化简(MapReduce)的分布式ETL节点调度方法.试验表明,该方法提升了ETL节点的数据处理能力,改善了整个ETL过程的吞吐率及响应时间等计算性能,从而提高了分布式ETL的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郝文宁	解放军理工大学指挥信息系统学院	64	544	13.0	20.0
2	宋杰	解放军理工大学指挥信息系统学院	6	76	4.0	6.0
3	陈刚	解放军理工大学指挥信息系统学院	32	353	12.0	18.0
4	靳大尉	解放军理工大学指挥信息系统学院	14	117	5.0	10.0