配用电大数据分布式计算集群负载均衡框架

• 作者: 孙湃 张亮 张令涛 田国辉 赵林
• 来源期刊: 电网技术
• 学科: 工学
• 关键词: Hadoop 大数据 分布式计算 数据倾斜 负载均衡 配用电
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 电力系统
• 页码范围: 259-265
• 页数: 7页
• 分类号: TM721
• 语种: 中文
• DOI: 10.13335/j.1000-3673.pst.2018.0627

摘要

为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架.框架首先定义了中间结果提前传输机制,通过限定范围的可控参数控制传输进程,将中间结果进行排序,传输低于负载均值的分片.然后介绍了分片的二次分拆原理,根据分片的大小动态决定分拆计划.完成分片的分拆之后,介绍了如何利用贪心启发式算法实现分拆结果的均衡分配,结合布隆滤波器实现了分拆后分片的传输.最后通过实验验证,文中提出的配用电负载均衡框架能够有效地提高配用电大数据分布式运算系统的效率,减少因数据倾斜造成的部分节点因运算任务过重而导致的总体执行时间过长现象.