Spark并行计算框架的内存优化

• 作者: 包从开 廖旺坚 黄永峰
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Spark 性能优化 堆内存
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 高性能计算
• 页码范围: 587-593
• 页数: 7页
• 分类号: TP391
• 字数: 5919字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2018.04.003

摘要

以Spark为代表的集群并行计算框架在大数据、云计算浪潮中广泛应用,其运行性能优化是应用的关键.为提高运行性能,分析了Spark框架执行流程、内存管理机制,结合Spark和JVM两个层面内存管理的特点,提出3条优化策略:(1)通过序列化和压缩方式减少缓存数据大小,使得GC消耗降低,提升性能;(2)在一定范围内减少运行内存大小,用重算代替缓存,可以提升性能;(3)配置适当的JVM新生代和老生代的比例、Spark计算与缓存空间比例等内存分配参数,能够较大程度地提升性能.实验结果表明,序列化和压缩能够减少缓存占用空间42％;提交运行内存由1 000 MB减少到800MB时,性能增加21％;优化内存配比,性能比默认参数有10％～30％的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄永峰	清华大学电子工程系	97	583	13.0	16.0
5	廖旺坚	清华大学电子工程系	2	7	1.0	2.0
9	包从开	清华大学电子工程系	2	7	1.0	2.0