基于Hadoop分布式文件系统的地震勘探大数据样本采集及存储优化

• 作者: 杨河山 张世明 曹小朋 李春雷 姜兴兴
• 来源期刊: 油气地质与采收率
• 学科: 工学
• 关键词: HDFS 地震勘探 大数据 样本采集 存储优化
• 年，卷（期）: 2022,（1）
• 页码范围: 121-127
• 页数: 7页
• 分类号: TE319
• 语种: 中文
• DOI: 10.13673/j.cnki.cn37-1359/te.2022.01.015

摘要

随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求.地震勘探的智能化是油气勘探开发智能化的重要组成部分.针对地震勘探数据具有的单一文件数据量大、非结构化的特点,在分析地震勘探大数据样本采集需求的基础上,提出基于Hadoop分布式文件系统(HDFS)的大文件分割和合并的解决方案,并对地震勘探数据生成3个不同维度的冗余存储,以提升地震勘探样本的采集效率.测试结果表明,基于HDFS的三倍冗余存储方案在数据量迅速增大的情况下,可以有效地提高地震勘探大数据样本的采集效率,从而满足地震勘探智能化应用需求.