海量自动气象站分钟数据存储检索系统设计

• 作者: 季刚 王建荣
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 自动站分钟数据 Kafka HBase Elasticsearch 协处理器
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 40-44
• 页数: 5页
• 分类号: TP311
• 字数: 3920字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2017.09.008

摘要

地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题.鉴于此,本文设计一种自动站分钟数据存储与检索系统.使用Quartz定时采集自动站分钟文件并解码入库;应用HBase分布式数据库建立分钟数据存储模型;针对多要素查询需求,应用Elasticsearch建立辅助索引,实现HBase的二级索引.系统测试结果表明,分钟数据入库平均耗时54.6 s,二级索引完整可靠,数据检索结果返回时效达到毫秒级,能够满足业务应用中对自动站分钟数据存储和检索时效的要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	季刚		12	83	6.0	8.0
2	王建荣		9	17	3.0	3.0