基于YARN资源调度器的MapReduce作业数调节方法

• 作者: 刘瑜 廉华
• 来源期刊: 计算机系统应用
• 关键词: 大数据 资源调度器 MapReduce 闭环反馈控制
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 218-222
• 页数: 5页
• 字数: 3958字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007351

摘要

YARN是Hadoop的一个分布式的资源管理系统,用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而,YARN的配置参数众多,要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上,结合了一种闭环反馈控制方法,可在集群运行状态下动态地对MapReduce(MR)作业数进行优化,省去了人工调整参数的过程.实验表明,在YARN的容量调度器和公平调度器的基础上使用该方法,相比于默认配置,MR作业完成时间分别减少53％和14％左右.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘瑜	浙江理工大学机械与自动控制学院	8	7	2.0	2.0
2	廉华	浙江理工大学机械与自动控制学院	3	3	1.0	1.0