海洋地理空间数据处理Spark框架异构任务处理研究

• 作者: 夏海涛 景辉 秦勃
• 来源期刊: 中国海洋大学学报（自然科学版）
• 学科: 工学
• 关键词: Spark MPI GPU 异构应用 海洋地理空间 分布式并行计算
• 年，卷（期）: 2019,（z1）
• 所属期刊栏目: 研究论文
• 页码范围: 157-163
• 页数: 7页
• 分类号: TP320
• 字数: 6980字
• 语种: 中文
• DOI: 10.16441/j.cnki.hdxb.20170281

摘要

海洋地理空间数据具有分布时间长、范围广、类型复杂、时效性强等特点.如何使用分布式并行计算系统(云平台)高效地计算和处理大规模海洋地理空间数据,是一个具有挑战性的问题.本文提出了一种支持Spark、MPI、GPU三种异构任务异构应用的Spark框架(Heterogeneous Application Spark Framework,HASF),适用包含检索、计算和可视化的海洋地理空间数据计算和处理的全过程.HASF包含异构应用Spark调度器(Heterogeneous Application Spark Scheduler,HASS)和异构应用Spark运行时(Heterogeneous Application Spark Runtime,HASR)两部分.HASS扩展了Spark的默认调度机制,使得应用调度不仅依赖于Spark核心数还依赖于MPI进程数和GPU设备数.HASS中使用了一个简单的贪心策略来分配Spark核心数和GPU设备数,而MPI进程绑定到Spark核心.HASR用来支持异构应用在Spark平台上的运行.实验结果表明,HASS对实验中采用的异构海洋地理空间数据处理应用队列进行调度,相较于默认的Spark应用调度,应用任务队列总执行时间缩短了10％～15％.HASS明显提高了异构海洋地理空间数据计算和处理任务的批处理效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦勃	中国海洋大学信息科学与工程学院	39	188	9.0	11.0
2	夏海涛	中国海洋大学信息科学与工程学院	1	0	0.0	0.0
3	景辉	中国海洋大学信息科学与工程学院	1	0	0.0	0.0