Hadoop在气象数据存储中的应用

• 作者: 任晓炜 詹利群 黄志
• 来源期刊: 气象研究与应用
• 学科: 地球科学
• 关键词: 大数据 Hadoop ETL 存储
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 广西气象信息化建设专题
• 页码范围: 65-68
• 页数: 4页
• 分类号: P49
• 字数: 3049字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-8411.2019.01.015

摘要

利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄志		13	39	4.0	5.0
2	詹利群		16	56	4.0	5.0
3	任晓炜		5	20	3.0	4.0