采用资源划分的云环境下Hadoop资源许可调度方法

• 作者: 周墨颂 朱正东 王寅峰 董小社 陈衡
• 来源期刊: 西安交通大学学报
• 关键词: 云计算 Hadoop 资源划分 作业调度 混合负载
• 年，卷（期）: 2015,（8）
• 页码范围: 69-74,108
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.7652/xjtuxb201508012

摘要

针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法.该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能.该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境.使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5％、37.1％和50.98％,性能显著提升.实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱正东	西安交通大学电子与信息工程学院	23	95	6.0	8.0
2	董小社	西安交通大学电子与信息工程学院	114	962	16.0	24.0
3	陈衡	西安交通大学电子与信息工程学院	20	156	7.0	12.0
4	王寅峰	深圳信息职业技术学院软件学院	20	67	5.0	7.0
5	周墨颂	西安交通大学电子与信息工程学院	2	13	2.0	2.0