面对气象大数据的存储管理与快速查询的技术研究

• 作者: 温建伟 张立 李永利
• 来源期刊: 河南科技
• 学科: 地球科学
• 关键词: 气象数据 结构化数据 非结构化数据 存储模型 分布式 数据查询
• 年，卷（期）: 2021,（26）
• 所属期刊栏目: 地球与环境|EARTH & ENVIRONMENTAL
• 页码范围: 144-146
• 页数: 3页
• 分类号: TP311.13|P409
• 语种: 中文
• DOI: 10.3969/j.issn.1003-5168.2021.26.052

摘要

根据气象业务应用对数据提出的时效性和多业务访问场景等需要,设计了可以同时访问结构化和非结构化数据的分布式气象大数据存储模型.在Spark系统基础上,采用MongoDB和JSON技术构建了试验模型,使用站点类、卫星和雷达遥感等数据进行数据查询试验.试验结果表明:气象大数据分布式存储结构和快速查询技术优于传统的数据库存储和访问技术,具有存储容量大、可扩展性高和访问快速等特点.