基于Apache Spark的地震观测数据噪声功率谱计算

• 作者: 郭凯 黎建辉 温亮明 韩振华
• 来源期刊: 计算机系统应用
• 关键词: 地震观测数据 噪声功率谱 Spark Hadoop 分布式
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 软件技术·算法|Software Technique · Algorithm
• 页码范围: 126-132
• 页数: 7页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.008084

摘要

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.