一种基于深度强化学习的Spark Streaming参数优化方法

• 作者: 刘露 申国伟 郭春 崔允贺 蒋朝惠 伍大勇
• 来源期刊: 计算机与现代化
• 关键词: Spark Streaming 性能优化 深度强化学习 参数调优
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 软件工程|SOFTWARE ENGINEERING
• 页码范围: 49-56,62
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.10.008

摘要

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一.在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素.在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能.因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法(DQN-SSPO),将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率.在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93％,在总处理时间上平均缩减42％.