一种面向数据偏移的云计算系统运行时负载均衡机制

• 作者: 李东升 陈易欣
• 来源期刊: 高性能计算技术
• 学科: 工学
• 关键词: 数据偏移 负载均衡 MapReduce
• 年，卷（期）: 2011,（6）
• 所属期刊栏目: 高性能计算热点技术
• 页码范围: 31-37
• 页数: 7页
• 分类号: TP31
• 语种: 中文

摘要

在类MapReduce的云计算系统中,数据偏移是产生Straggler的重要原因之一.本文针对迭代式的云应用,利用相邻迭代间输入数据与中间数据存在的一定相似性,提出了一种面向数据偏移的云计算系统运行时负载均衡机制.该机制在迭代执行时统计中间数据的分布情况,并由此指导下一次执行的数据分区,以促进Reduce节点的负载均衡,减少部分节点因负载大而产生的Straggler现象.本文在开源HaLoop系统中设计实现了该机制,并在实验室集群系统上进行了部署测试.实验表明,该机制能够有效地均衡节点的计算负载,并显著减少应用作业在云计算系统中的运行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李东升	国防科学技术大学计算机学院	10	130	4.0	10.0
2	陈易欣	国防科学技术大学计算机学院	1	0	0.0	0.0