MapReduce平台上面向倾斜数据连接的负载平衡方法

• 作者: 汪鑫 芦立华
• 来源期刊: 现代电子技术
• 关键词: 倾斜数据 负载平衡 MapReduce平台 任务分配 特征提取 负载偏移控制 评价函数
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 计算机科学与应用
• 页码范围: 65-68
• 页数: 4页
• 分类号: TN919-34|TP391.9
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2021.02.015

摘要

由于传统倾斜数据的连接负载平衡方法设置的负载布局位置不佳,导致对负载偏移的控制效果差,因此针对MapReduce平台上的倾斜数据,提出连接负载的新式平衡方法.优化设置MapReduce系统前端分发器和末端服务器,根据泊松流设置任务分配控制条件;提取倾斜数据特征,利用评价函数设置平衡约束指标;计算信息熵控制负载偏移量,使用平衡布局概率得出布局最优位置.实验结果表明,所提出负载平衡方法的负载偏移量比传统方法的测试结果低,证明该方法对负载偏移量的控制效果更好,符合现阶段的平衡控制要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	汪鑫		19	49	4.0	6.0
2	芦立华		10	6	1.0	2.0