基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
以Spark为代表的集群并行计算框架在大数据、云计算浪潮中广泛应用,其运行性能优化是应用的关键.为提高运行性能,分析了Spark框架执行流程、内存管理机制,结合Spark和JVM两个层面内存管理的特点,提出3条优化策略:(1)通过序列化和压缩方式减少缓存数据大小,使得GC消耗降低,提升性能;(2)在一定范围内减少运行内存大小,用重算代替缓存,可以提升性能;(3)配置适当的JVM新生代和老生代的比例、Spark计算与缓存空间比例等内存分配参数,能够较大程度地提升性能.实验结果表明,序列化和压缩能够减少缓存占用空间42%;提交运行内存由1 000 MB减少到800MB时,性能增加21%;优化内存配比,性能比默认参数有10%~30%的提升.
推荐文章
基于分布/并行计算框架求解多学科设计优化问题
分布/并行策略
计算框架
多学科设计优化
基于GPU-Hadoop的并行计算框架研究与实现
云计算
图形处理器
并行计算
Hadoop
海洋流场可视化
MapReduce
并行计算框架Spark的自适应缓存管理策略
并行计算
缓存管理策略
Spark
弹性分布式数据集
化工过程系统优化的分布式并行计算
优化并行计算机群系统化工过程系统
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 Spark并行计算框架的内存优化
来源期刊 计算机工程与科学 学科 工学
关键词 Spark 性能优化 堆内存
年,卷(期) 2018,(4) 所属期刊栏目 高性能计算
研究方向 页码范围 587-593
页数 7页 分类号 TP391
字数 5919字 语种 中文
DOI 10.3969/j.issn.1007-130X.2018.04.003
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 黄永峰 清华大学电子工程系 97 583 13.0 16.0
5 廖旺坚 清华大学电子工程系 2 7 1.0 2.0
9 包从开 清华大学电子工程系 2 7 1.0 2.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (6)
共引文献  (21)
参考文献  (3)
节点文献
引证文献  (6)
同被引文献  (21)
二级引证文献  (1)
2006(1)
  • 参考文献(0)
  • 二级参考文献(1)
2007(1)
  • 参考文献(0)
  • 二级参考文献(1)
2010(1)
  • 参考文献(0)
  • 二级参考文献(1)
2013(1)
  • 参考文献(0)
  • 二级参考文献(1)
2014(2)
  • 参考文献(0)
  • 二级参考文献(2)
2015(1)
  • 参考文献(1)
  • 二级参考文献(0)
2016(2)
  • 参考文献(2)
  • 二级参考文献(0)
2018(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2019(5)
  • 引证文献(5)
  • 二级引证文献(0)
2020(2)
  • 引证文献(1)
  • 二级引证文献(1)
研究主题发展历程
节点文献
Spark
性能优化
堆内存
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机工程与科学
月刊
1007-130X
43-1258/TP
大16开
湖南省长沙市开福区德雅路109号国防科技大学计算机学院
42-153
1973
chi
出版文献量(篇)
8622
总下载数(次)
11
相关基金
国家科技支撑计划
英文译名:
官方网址:http://kjzc.jhgl.org/
项目类型:重大项目
学科类型:能源
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
论文1v1指导