分布式数据流数据倾斜均衡方法研究

• 作者: 侯震梅 杨玉莹
• 来源期刊: 长春大学学报（自然科学版）
• 学科: 工学
• 关键词: 分布式系统 流处理 数据倾斜 负载平衡 数据迁移
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 计算机工程
• 页码范围: 11-20
• 页数: 10页
• 分类号: TP31
• 语种: 中文

摘要

对数据倾斜现象的诱发因素进行了研究,针对分布式数据流的数据倾斜问题提出一种具有实时监控节点负载,及时建立、更新数据迁移路由表的实时的、动态负载均衡方法,通过数据迁移与数据回迁策略保证实现最小迁移代价以及高效的负载均衡.最后模拟实验证明本文提出的负载均衡算法所带来的处理速度上的性能收益远远高于算法自身在系统延迟方面的代价.