Spark参数重要性研究

• 作者: 王奕
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: SPARK 分布式 配置参数 任务运行时间 重要性
• 年，卷（期）: dnzsyjsxsb_2020,（4）
• 页码范围: 247-249
• 页数: 3页
• 分类号: TP311.13

摘要

随着大数据时代的到来,Spark因其基于内存的计算方式,已经成为当前最流行的分布式计算框架之一。为了提升易用性,Spark为用户提供了约200个可配置参数,这些参数控制着任务的运行。然而,Spark参数空间巨大,用户经常无法合理选择哪些参数进行配置。针对此问题,本文通过实验对不同Spark参数与任务运行时间之间的关系进行了详细分析,对Spark参数重要性进行研究。实验表明,不同参数对任务影响程度差异巨大,这对开发者如何选择参数进行配置具有指导意义。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王奕		16	123	5.0	11.0