基于海量数据的HBase写入性能测试与优化

• 作者: 姜镇 文伟军 金星 青欣
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: MAPREDUCE HADOOP HBASE 海量数据
• 年，卷（期）: dnzsyjsxsb_2019,（2X）
• 页码范围: 9-13
• 页数: 5页
• 分类号: TP311.13

摘要

HBase解决了大规模数据的结构化存储和实时的随机读写访问,但HBase提供的API在大规模数据批量写入等方面存在着性能瓶颈,不能很好地满足应用需求。本文提出了基于MapReduce架构实现HBase的性能优化方案,并设计了分布式程序进行验证,实验表明在海量数据应用条件下采用MapReduce计算框架能够利用HBase集群的计算性能,相比传统的单线程和多线程数据写入方式具有更好的实用性和有效性,同时结合这三类数据写入方式的性能特征提出了以写入数据量为依据的选择策略。