基于预测的Spark动态资源分配策略

• 作者: 刘飞 常世禄 梁毅 程石帆
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 分布式计算平台 Spark 大数据处理技术 动态资源分配 数据查询
• 年，卷（期）: 2018,（12）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 43-47
• 页数: 5页
• 分类号: TP3-05
• 字数: 4414字
• 语种: 中文
• DOI: 10.11907/rjdk.181493

摘要

分布式内存计算平台Spark是海量数据处理领域的最新技术进展.动态资源分配下Spark可根据应用的负载情况动态地追增、关闭任务执行器.然而,关闭任务执行器会造成缓存数据丢失,导致不必要的重计算开销,该情况在Spark交互式数据查询应用中尤为常见.为尽量减少任务执行器关闭以提升查询效率,设计实现一种基于预测的Spark动态资源分配策略.该策略基于马尔科夫理论构建Spark交互式数据查询应用的非活跃期持续时间预测模型,并依据预测结果确定任务执行器的关闭时机.试验结果表明,相比既有的Spark动态资源分配策略,采用基于预测的资源分配策略可使Spark交互式数据查询效率平均提升59.34％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘飞	北京工业大学计算机学院	16	76	5.0	8.0
2	梁毅	北京工业大学计算机学院	25	56	5.0	6.0
3	程石帆	北京工业大学计算机学院	2	1	1.0	1.0
4	常世禄	北京工业大学计算机学院	1	0	0.0	0.0