面向电信应急系统的Spark性能预测与参数调优方法探究

• 作者: 林子孟 葛欣竹 曹若麟
• 来源期刊: 电信快报
• 关键词: 大数据 Spark 性能预测 参数调优 电信数据
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 智慧应急
• 页码范围: 26-30
• 页数: 5页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-1339.2020.12.006

摘要

在众多大数据处理平台中,Spark以其运算速度快,操作方便等特有的优势脱颖而出.然而在实际应用中,Spark还存在一定的优化空间.针对Spark的参数配置优化,基于随机森林回归算法提出一种可行性较高的Spark性能预测的方法,并将该方法应用到电信数据处理任务中.实验证实,该性能预测方法不仅易于实现,且通过该方法得到的参数配置对于Spark任务性能有较好的提升.