Spark Streaming中参数与资源协同调整策略

• 作者: 刘飞 常仕禄 梁毅 程石帆
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Spark Streaming 动态邻域粒子群 参数配置 资源分配
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 45-47,55
• 页数: 4页
• 分类号: TP301
• 字数: 2706字
• 语种: 中文
• DOI: 10.11907/rjdk.181652

摘要

Spark Streaming是一种典型的批量流式计算平台, 可用于处理持续到达的数据流.流式数据最重要的两个特征是波动性和时效性.利用动态调整系统参数和动态调整资源满足不同数据到达速率的响应延迟, 但调整参数的方式具有局限性, 其用户成本较大.因此提出一种参数和资源协同调整策略, 采用动态邻域粒子群算法找到一种满足SLO目标且使用资源最少的系统方案.实验表明, AdaStreaming与DyBBS相比, 延迟性降低了70.1％, 在资源使用量上比DRA降低了42.1％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘飞	北京工业大学计算机学院	16	76	5.0	8.0
2	梁毅	北京工业大学计算机学院	25	56	5.0	6.0
3	程石帆	北京工业大学计算机学院	2	1	1.0	1.0
4	常仕禄	北京工业大学计算机学院	1	1	1.0	1.0