一种基于集群的通用并行计算框架设计

• 作者: 王宁
• 来源期刊: 现代计算机：中旬刊
• 学科: 工学
• 关键词: 并行计算 集群 系统框架 有向无环图 缓存
• 年，卷（期）: 2016,（12）
• 页码范围: 20-25
• 页数: 6页
• 分类号: TP393.02

摘要

近年来各领域应用的数据量和计算量需求都大幅增加．传统单个计算设备往往无法胜任如此规模的计算量，因此越来越多的领域开始尝试使用并行计算技术．分布式并行计算是进行并行计算的一种主要方式，常见的框架为基于MapReduce的Hadoop。提出一种基于集群的通用并行计算框架，参考“管道过滤器”模式，对三个模块“任务划分”、“控制器节点”和“计算节点”都进行详细设计描述，相对于Hadoop，对有向无环图型任务由更好支持，并且支持迭代型任务，另外增加缓存机制，减少系统耗时，一定程度支持实时性应用。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王宁	四川大学计算机学院	21	138	5.0	11.0