海量气象数据实时解析与存储系统的设计与实现

• 作者: 张博 王建民 王若曈 罗兵 黄向东
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 多维数据 气象数据 分布式 解析 存储 MICAPS
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 高性能计算
• 页码范围: 2045-2054
• 页数: 10页
• 分类号: TP311.133.1
• 字数: 9762字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2015.11.009

摘要

气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一.为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统.根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统.实践证明,数据实时解析系统和基于分布式非关系型Key-Value数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求.该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王建民	清华大学软件学院	123	1523	19.0	34.0
2	罗兵		27	600	12.0	24.0
3	王若曈		3	55	3.0	3.0
4	黄向东	清华大学软件学院	12	104	4.0	10.0
5	张博	清华大学软件学院	27	172	7.0	12.0