数据密集型计算中负载均衡的数据布局方法

• 作者: 宋杰 朱志良 李甜甜 闫振兴
• 来源期刊: 北京邮电大学学报
• 学科: 工学
• 关键词: 数据密集型计算 数据布局 负载均衡 MapRedcue 云计算
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 论文
• 页码范围: 76-80
• 分类号: TP393
• 语种: 中文
• DOI: 10.13190/jbupt.201304.76.songj

摘要

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率；节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱志良	东北大学软件学院	112	1344	20.0	32.0
2	宋杰	东北大学软件学院	39	690	14.0	25.0
3	闫振兴	东北大学软件学院	3	116	2.0	3.0
4	李甜甜	东北大学软件学院	12	250	7.0	12.0