Hadoop平台的多队列作业调度优化方法研究

• 来源期刊: 计算机应用研究
• 关键词: 云计算 调度优化 性能分析
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 705-707,738
• 页数: 4页
• 分类号: TP312
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2014.03.015

摘要

对Hadoop平台的作业调度算法进行了研究，提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业，以提高节点的资源利用率；允许作业队列的资源在闲置时被其他作业队列占用；在原作业队列需要时可以被即时回收，即回收过程支持任务抢占；采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明，优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。