HOS:一种基于HBase的分布式存储系统设计与实现

• 作者: 刘尚东 季一木 尧海昌 张宁 李奎 李航 王汝传
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: HBase 查询处理 分层式索引 分布式存储
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 63-71
• 页数: 9页
• 分类号: TP399
• 字数: 5463字
• 语种: 中文
• DOI: 10.14132/j.cnki.1673-5439.2019.05.009

摘要

大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案.由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求.为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层.前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率.最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase.