基于Spark的近地表速度模型快速层析反演

• 作者: 陈金焕
• 来源期刊: 石油物探
• 学科: 地球科学
• 关键词: 近地表层析反演 迭代计算 Spark并行 弹性分布式数据集 规约基本单元
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 处理方法技术|Processing Method
• 页码范围: 146-155
• 页数: 10页
• 分类号: P631
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1441.2022.01.015

摘要

近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法.通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈.为此,提出了一种快速、稳健的基于Spark技术的近地表速度模型层析反演方法,采用分布式内存管理技术将迭代中重复计算的数据持久化至内存中,提高程序运行效率.同时,为了解决共享存储中随着节点规模扩大而产生网络I/O堵塞的瓶颈问题,在分布式存储环境下组织弹性分布式数据集(RDD),设计基本规约单位为深度方向的一维反演数据,基于Spark Shuffle在规约过程中分布并行规约,利用Spark调度器在各个进程中分配任务,实现并行计算.实际数据计算结果表明:在反演结果精度不变的情况下,相对于常规MPI并行技术,该实现方法能够大幅度降低迭代过程中产生的网络I/O;当计算节点较多时,计算效率能够提高4倍以上;并行加速比呈现类线性增长趋势.