基于累计工作量的在线大数据分析作业调度算法

• 作者: 张晓达 徐超 李叶飞 许道强 邹云峰 钱柱中
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 数据分析系统 作业流时间 公平性 饥饿避免
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 应用前沿、交叉与综合
• 页码范围: 2431-2437
• 页数: 7页
• 分类号: TP316.4
• 字数: 7633字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019010073

摘要

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题,设计了基于累计工作量(CRW)的任务调度器CRWScheduler.该调度器根据CRW将任务在低权重队列与高权重队列间切换;在为作业分配资源时,同时考虑到作业所在的队列和其瞬时占用资源量,无需作业先验知识即显著提升系统性能.基于Apache Hadoop YARN实现了CRWScheduler原型,在28个节点的基准测试集群上的实验表明,与YARN的公平调度机制相比,作业流时间(JFT)平均降低21％,其中95百分位的作业流时间(JFT)最多降低了35％,并且在与任务级调度程序协作时可获得进一步的性能提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱柱中	南京大学计算机科学与技术系	19	312	8.0	17.0
2	邹云峰	国网江苏省电力有限公司电力科学研究院	17	19	3.0	4.0
3	徐超	国网江苏省电力有限公司电力科学研究院	27	33	3.0	4.0
4	许道强		6	6	1.0	2.0
5	李叶飞	南京大学计算机科学与技术系	3	2	1.0	1.0
6	张晓达	南京大学计算机科学与技术系	1	1	1.0	1.0