NetCDF物理海洋数据云存储技术研究

• 作者: 夏伟 尚恒帅 杨应召 艾波
• 来源期刊: 海洋技术学报
• 关键词: 物理海洋数据 NetCDF HDFS 并行计算框架 Spark
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 研究论文
• 页码范围: 71-78
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-2029.2019.04.012

摘要

物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储.然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用.论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析.选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验.结果 表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2 300 s缩短至50 s内,效率较集中式文件存储方式提升95％以上,验证了该方法的正确性和有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尚恒帅		2	0	0.0	0.0