Spark内存管理及缓存策略研究

• 作者: 余松平 刘芳 孟红涛 肖侬
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 大数据 Spark内存管理 RDD缓存 缓存策略
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 2016年全国信息存储技术学术年会
• 页码范围: 31-35,74
• 页数: 6页
• 分类号: TP311
• 字数: 6791字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2017.06.005

摘要

Spark系统是基于Map-Reduce模型的大数据处理框架.Spark能够充分利用集群的内存,从而加快数据的处理速度.Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点.首先,测试并分析了Shuffle Memory和Storage Memory的使用特点.RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区.接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择.最后,测试和分析了多种缓存策略的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘芳	国防科学技术大学计算机学院	43	527	12.0	22.0
2	肖侬	国防科学技术大学计算机学院	76	1481	18.0	37.0
3	余松平	国防科学技术大学计算机学院	3	25	1.0	3.0
4	孟红涛	国防科学技术大学计算机学院	1	25	1.0	1.0