面向Storm的数据流编程模型与编译优化方法研究

• 作者: 于俊清 何云峰 杨秋吉 莫斌生
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 多核集群 数据流编程 编译 流水线 COStream
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 高性能计算
• 页码范围: 2409-2418
• 页数: 10页
• 分类号: TP311.52
• 字数: 10406字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.12.005

摘要

数据流编程模型将程序的计算与通信分离,暴露了应用程序潜在的并行性并简化了编程难度.分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题,但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战.针对数据流程序在分布式架构下所面临的问题,设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架.框架包括两个模块:面向Storm的层次性任务划分与调度,以及面向Storm的层次性软件流水与代码生成.层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上.层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水,并生成相应的目标代码.实验以多核集群为目标平台,在集群上搭建Storm分布式架构,选取数字媒体处理领域典型程序作为测试程序,对面向Storm的编译优化后的程序进行实验分析.实验结果表明了结合方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于俊清	华中科技大学网络与计算中心	60	576	14.0	22.0
2	何云峰	华中科技大学网络与计算中心	23	259	9.0	15.0
3	杨秋吉	华中科技大学网络与计算中心	2	30	2.0	2.0
4	莫斌生	华中科技大学网络与计算中心	1	3	1.0	1.0