适应节能与异构环境的 MapReduce 数据布局策略

• 作者: 于炯 刘炎 刘继 廖彬 张陶 钟磊
• 来源期刊: 中山大学学报（自然科学版）
• 学科: 工学
• 关键词: 绿色计算 MapReduce 异构环境 数据布局
• 年，卷（期）: 2015,（6）
• 页码范围: 55-66
• 页数: 12页
• 分类号: TP393.09
• 字数: 9393字
• 语种: 中文
• DOI: 10.13471/j.cnki.acta.snus.2015.06.011

摘要

大数据处理过程中产生的高能耗问题亟待解决，尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上，分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题，继而提出面向节能的MapReduce数据布局策略。首先，新策略适应将集群划分为不同存储区域（ Active－Zone与Sleep－Zone）的节能模式；其次，新策略对传统的数据块数计算方法进行了改进，提出作业截止时间约束下的最小任务数计算方法确定数据块数量；最后，新的存储策略增加了对异构集群环境的适应能力，并能根据不同的作业类型进行存储节点的选择。实验结果表明：新的数据布局策略能够适应异构集群环境，达到减小MapReduce作业能耗的目的。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学软件学院	176	1315	20.0	28.0
2	刘继	新疆财经大学统计与信息学院	41	300	10.0	16.0
3	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
5	张陶	新疆医科大学医学工程技术学院	16	95	7.0	9.0
6	刘炎	清华大学软件学院	10	43	5.0	6.0
7	钟磊	新疆财经大学统计与信息学院	12	34	4.0	5.0