多资源公平调度器在Hadoop中的实现

• 作者: 洪爵 马肖燕
• 来源期刊: 集成技术
• 关键词: Hadoop 作业调度算法 插槽 多资源 公平
• 年，卷（期）: 2012,（3）
• 所属期刊栏目: 互联网与数据分析
• 页码范围: 66-71
• 页数: 6页
• 字数: 4812字
• 语种: 中文

摘要

目前Hadoop的作业调度算法都是将系统中的多类资源抽象成单一资源,分配给作业的资源均是节点资源中固定大小的一部分,称为插槽.这类基于插槽的算法没有考虑到系统多资源的差异性,忽略了不同类型作业对资源的不同需求,因此导致系统在吞吐量和平均作业完成时间上性能低下.本文研究了多资源环境下公平调度算法在Hadoop中的实现,设计了一种多资源公平调度器MFS(Multi-resource Fair Scheduler).MFS采用了DRF(Dominant Resource Fairness)调度思想,使用需求向量来描述作业对各类资源的需求,并按照需求向量中各资源的大小给作业分配资源.MFS能更加充分有效地使用系统的各类资源,并能满足不同类型作业对资源的不同需求.实验表明相比于基于插槽的Fair Scheduler与Capacity Scheduler,MFS提高了系统的吞吐量,降低了平均作业完成时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	洪爵	中国科学院深圳先进技术研究院	3	11	2.0	3.0
2	马肖燕	中国科学院深圳先进技术研究院	1	6	1.0	1.0