Spark平台中任务执行时间预测方法研究

• 作者: 刘思宇 梁毅 陈翔 陈诚
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 大数据 Spark 预测 分布式 任务
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 19-21
• 页数: 3页
• 分类号: TP306
• 字数: 2386字
• 语种: 中文
• DOI: 10.11907/rjdk.171509

摘要

Spark是一种新型分布式海量数据处理平台,在应用执行过程中,Spark以任务作为最小执行单元.因此,任务执行时间预测是指导Spark进行性能分析、优化资源调度以及故障监控的基础.在Spark平台中,由于计算数据分布不均及网络资源的共享,导致同样计算逻辑的任务在不同计算节点上执行的时间可能产生很大差异,需根据实时运行环境进行动态预测.通过结合任务在不同节点所需数据量以及集群网络状况,对任务在不同节点的执行时间进行预测.实验表明,该方法对任务进行预估,误差可保证在19%以内,任务执行时间预估算法对Spark调优有一定的指导作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁毅	北京工业大学计算机学院	25	56	5.0	6.0
2	刘思宇	北京工业大学计算机学院	2	4	2.0	2.0
3	陈翔	北京工业大学计算机学院	3	16	2.0	3.0
4	陈诚	北京工业大学计算机学院	3	11	2.0	3.0