一种基于Solr的HBase海量数据二级索引方案

• 作者: 吴小松 王文贤 王海舟 陈兴蜀
• 来源期刊: 信息网络安全
• 学科: 工学
• 关键词: HBase 二级索引 Solr 快速检索
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 技术研究
• 页码范围: 39-44
• 页数: 6页
• 分类号: TP309
• 字数: 4727字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-1122.2017.08.006

摘要

针对HBase不提供二级索引和华为的hindex方案难以满足海量数据检索速度需求的问题,文章设计了基于Solr的HBase二级索引方案SIHBase(Solr Indexing HBase).该方案使用HBase的Coprocessor(协处理器)为数据表的创建、修改、删除以及数据的插入、更新、删除和恢复等操作都实现了相应的回调函数,通过回调函数向Solr发送相关请求,以实现在Solr中自动为HBase建立和维护二级索引,保证数据与索引的一致性.该方案具有良好的通用性,可以同时为多张表的多列数据建立索引.该方案扩展了HBase的客户端功能,增加了直接查询Solr的接口,利用Solr提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索.最后,与hindex进行了二级索引的查询性能对比实验,证明了该方案在查询速度上要远快于hindex.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学网络空间安全研究院	117	695	14.0	21.0
5	王文贤	四川大学网络空间安全研究院	60	732	13.0	25.0
9	王海舟	四川大学网络空间安全研究院	30	137	6.0	10.0
13	吴小松	四川大学计算机学院网络与可信计算研究所	3	56	2.0	3.0