基于YARN的分布式资源动态调度与协同分配系统

• 作者: 郝志峰 黄泽林 蔡瑞初 傅正佳 温雯 唐凯麟
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 分布式集群 动态调度 协同分配 流数据处理 资源分配
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 体系结构与软件技术
• 页码范围: 226-232
• 页数: 7页
• 分类号: TP315
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0057292

摘要

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足.根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统.建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理.实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟.