基于HBase的大数据架构下负载平衡技术

• 作者: 雷鸣 姜罕盛 武国良 赵玉娟 梁健
• 来源期刊: 计算机与现代化
• 关键词: 负载平衡 HBase 分布式存储 大数据 HDFS
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 网络与通信|NETWORK AND COMMUNICATION
• 页码范围: 91-95
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.06.015

摘要

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求.本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略.在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平衡算法相比,系统数据响应速度提升了42.69倍,能够有效地满足实际业务需要.