基于负载均衡的多源流数据实时存储系统

• 作者: 房俊 李冬 郭会云
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 多源流数据 HBase 实时存储系统 数据代理 负载均衡 任务调度
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 高性能计算
• 页码范围: 641-647
• 页数: 7页
• 分类号: TP393
• 字数: 5586字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.04.005

摘要

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点.现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题.针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统.该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中.实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3～0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	房俊		16	271	6.0	16.0
3	李冬		3	22	3.0	3.0
5	郭会云		2	17	2.0	2.0