Spark框架下地震属性处理方法研究

• 作者: 朱丽萍 李洪奇 王建东 赵艳红
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 地震属性分析 Spark RDD MapReduce 迭代计算
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 1620-1626
• 页数: 7页
• 分类号: TP30
• 字数: 5729字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2018.08.028

摘要

为解决单机环境下地震属性计算处理效率低下问题,提出基于分布式并行框架Spark的地震属性迭代处理方法,构建满足并行计算需求的地震属性文件结构,然后将存储于HDFS上的地震属性数据以分布式弹性数据集(RDD)的形式读入内存,使用Spark将涉及多次迭代的地震属性计算过程转化为数据转移DAG图并分步执行,整个计算过程在内存中完成多次迭代后再将结果持久化到磁盘,相比于Hadoop MapReduce和传统的单机处理过程避免了每次迭代时中间结果的磁盘IO,极大地提高了处理效率.将此方法应用于曲率属性的二维高斯迭代滤波处理过程,有效提升了地震属性处理效率.实验表明随着数据量和迭代次数增加,同样的处理过程在Spark下比Hadoop MapReduce下的计算效率能够提升10倍左右.