一种面向异构大数据计算框架的监控及调度服务

• 作者: 丁维龙 王桂玲 胡雅鹏
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 作业调度 集群监控 管理服务 作业提交
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 第十四届全国Web信息系统及其应用学术会议
• 页码范围: 67-71,95
• 页数: 6页
• 分类号: TP315
• 字数: 5592字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2018.06.011

摘要

各种类型的大数据计算框架存在各自专用的管理方法.传统的监控和调度服务在异构环境下的操作由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业.这不仅浪费了集群的可用资源,而且增加了计算作业的等待时间.针对上述两个问题,提出了一种面向异构大数据计算框架的一体化监控及动态调度管理服务.该服务可以自动适应并监控多种类型的大数据计算框架及计算作业,并对多类型作业提供一体化调度.针对Hadoop和Storm两种计算框架,实现了原型系统并进行了实验.实验结果表明,所提服务在异构环境下的大数据计算框架中能降低人工操作的复杂度,并且能提高作业的调度效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁维龙		7	36	4.0	6.0
2	胡雅鹏	北方工业大学数据工程研究院	1	5	1.0	1.0