模型驱动的大数据流水线框架PiFlow

• 作者: 朱小杰 杜一 赵子豪
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 大数据 流水线 流水线调度 模型驱动的开发方法 数据处理
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 数据科学与技术
• 页码范围: 1638-1647
• 页数: 10页
• 分类号: TP311.56
• 字数: 7962字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019101793

摘要

复杂流程的大数据处理多依托于流水线系统,但大数据处理的流水线系统在易用性、功能复用性、扩展性以及处理性能等方面存在不足.针对上述问题,为提高大数据处理环境的构建与开发效率,优化处理流程,提出了一种模型驱动的大数据流水线框架PiFlow.首先,将大数据处理过程抽象为有向无环图;然后,开发一系列组件用于构建数据处理流水线,并设计了流水线任务执行机制.同时,为规范和简化流水线框架的描述,设计了基于模型驱动的大数据流水线描述语言——PiFlowDL,该语言以模块化、层次化的方式对大数据处理任务进行描述.PiFlow以所见即所得(WYSIWYG)的方式配置流水线,集成了状态监控、模板配置、组件集成等功能,与Apache NiFi相比有2～7倍的性能提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜一	中国科学院计算机网络信息中心	9	464	6.0	9.0
5	赵子豪	中国科学院计算机网络信息中心	5	0	0.0	0.0
9	朱小杰	中国科学院计算机网络信息中心	2	2	1.0	1.0