基于Elasticsearch的HBase海量数据二级索引方案

• 作者: 郭雪峰
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 海量数据 二级索引 ELHBase 自定义Sink 快速检索
• 年，卷（期）: 2020,（1）
• 页码范围: 5-7
• 页数: 3页
• 分类号: TP31

摘要

针对HBase不提供二级索引、自带Coprocessor(协作器)不稳定及海量数据检索速度较慢等问题,设计了一种新的基于Elasticsearch的HBase二级索引方案ELHBase(Elasticsearch Indexing HBase)。该方案借助Flume、Kafka、HBase及Elastic search搭建了一套数据采集、高速解析和录入大数据处理框架,使用Flume自定义Sink采集数据同时生成相应ID存入到Kafka,通过解析技术分别把数据存储到HBase,相应ID作为索引存储到ElasticSearch。该方案在不利用Coprocessor的基础上增加了直接查询ElasticSearch的接口,利用ElasticSearch提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索,协同解决了HBase数据索引性能不高、协作器不稳定、ElasticSearch不适合大量数据存储等问题。最后,分别与SI HBase、hindex进行了二级索引性能对比实验,证明了该方案在写入性能上较SIHBase更快、更稳定,查询速度上要远快于hindex。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭雪峰	公安部第三研究所网络安全技术研发中心	2	0	0.0	0.0