Hadoop YARN大数据计算框架及其资源调度机制研究

• 作者: 吴中海 李文婷 沈晴霓 董春涛
• 来源期刊: 信息通信技术
• 关键词: 大数据 YARN计算框架 资源管理器 容量调度器 公平调度器 欧米伽调度器 拒绝服务攻击
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 技术广角 Broad Angle for Technology 77-89
• 页码范围: 77-84
• 页数: 8页
• 字数: 6041字
• 语种: 中文

摘要

Hadoop 2.0提出一种新的资源管理系统YARN，它可以支持多种大数据计算框架(如MapReduce、Storm、Spark等)，目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此，文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上，重点研究Hadoop YARN中的资源调度机制，包括其资源调度器的模型与机制，及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原理和脆弱性，并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈晴霓		20	249	9.0	15.0
2	吴中海		31	357	7.0	18.0
3	李文婷		6	75	3.0	6.0
4	董春涛		1	55	1.0	1.0