基于Hbase的车联网海量数据存储

• 作者: 李星 邬少飞
• 来源期刊: 电脑与电信
• 关键词: Hbase 车联网 kafka
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 网络与通信
• 页码范围: 59-62
• 页数: 4页
• 分类号: TP311.13
• 语种: 中文

摘要

针对如何处理车联网数据的峰值问题,提出了一种基于Hbase的车联网海量数据存储的中间件控制方案.首先报文通过Kafka传递到中间件,再对传递至中间件的数据进行计数器处理,限制对Kafka的拉取消费;其次对传递至中间件的数据进行筛选处理,确保数据都是有效的数据,然后进行存储;最后针对车联网海量数据的应用场景选择能够满足需求的行键设计以及表结构设计.经实验表明,该中间件控制方案在存储的稳定性上比没有控制方案的具有优越性,该行键设计方案对比没有行键设计的方案在性能上具有显著的性能提升.