一种Hadoop YARN的资源调度机制

• 作者: 唐鹏 李程 柴小丽 谢彬
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: Hadoop YARN 大数据 资源调度 预约回填
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 软件工程
• 页码范围: 29-34
• 页数: 6页
• 分类号: TP302
• 字数: 4809字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2017.11.006

摘要

YARN是Hadoop中广泛应用的资源管理系统,支持MapReduce,Spark,Storm等多种计算框架,已成为大数据生态中的核心组件.然而,在Hadoop YARN现有的资源调度器中,采用基于资源预留的资源保障机制,会产生资源碎片,导致资源浪费.为提高集群的资源利用率和吞吐量,本文提出一种基于预约回填的资源分配机制.在该机制中,基于作业的优先级来决定是否对资源进行预约,并引入回填策略,在不影响预约作业执行的情况下,对资源进行回填使用.实验表明,使用基于预约回填的资源调度机制能够有效提高Hadoop YARN集群的资源利用率和吞吐量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	柴小丽	中国电子科技集团公司第三十二研究所信息服务平台室	12	55	5.0	6.0
2	谢彬	中国电子科技集团公司第三十二研究所信息服务平台室	12	42	4.0	6.0
3	李程	中国电子科技集团公司第三十二研究所信息服务平台室	2	12	1.0	2.0
4	唐鹏	中国电子科技集团公司第三十二研究所信息服务平台室	4	19	2.0	4.0