基于Elasticsearch的气象数据检索技术研究

• 作者: 尹海燕 张恩红 李高洁
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Elasticsearch 海量数据 检索 元数据 数据服务
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 应用开发研究
• 页码范围: 154-158
• 页数: 5页
• 分类号: TP39
• 字数: 3211字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.11.031

摘要

气象行业的数据量非常大,系统需要每天处理约有800 G的增量数据,总容量超过1 P的历史数据文件.为了能够及时、快速地存储这些数据,并且能解决气象数据服务的需求,构建一套科学、高效的数据服务系统迫在眉睫.基于Elasticsearch技术,采用元数据的管理方法,设计了一套数据管理系统.按照业务类型和数据名称特点,把所有数据分成了13个大类和260多个元数据类型,设计了相同的元数据模板,便于统一管理.同时对13个大类分别构建了索引,定义了气象行业专业的检索词条,实现了快速定位和访问数根据文件的需求.该设计方法实现了1～2秒钟内可以从5亿个文件库中搜索出某一大类的文件,在2～3秒钟可以更加精确地搜索出某一元数据类型的数据.基于以上设计方案,基本满足了当前的数据服务需要.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张恩红		10	88	5.0	9.0
2	李高洁		5	4	2.0	2.0
3	尹海燕		1	0	0.0	0.0