面向MapReduce的数据处理流程开发方法

• 作者: 刘杰 叶丹 易小华
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: MapReduce 数据处理流程 模型驱动 Hadoop平台
• 年，卷（期）: 2011,（2）
• 页码范围: 161-169
• 分类号: TP301
• 字数: 5502字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.2011.02.006

摘要

数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程.提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow.实验表明该方法可以有效提高数据流程的处理效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘杰	中国科学技术大学计算机科学与技术系	218	1905	24.0	36.0
2	叶丹	中国科学院软件研究所软件工程技术中心	26	397	10.0	19.0
3	易小华	中国科学院软件研究所软件工程技术中心	1	37	1.0	1.0