Spark计算引擎的数据对象缓存优化研究

• 作者: 冯琳 王彬 陈康
• 来源期刊: 中兴通讯技术
• 学科: 工学
• 关键词: 并行计算 缓存 Spark RDD
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 专题:大数据分析处理与应用
• 页码范围: 23-27
• 页数: 5页
• 分类号: TN929.5
• 字数: 4547字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-6868.2016.02.006

摘要

研究了Spark并行计算集群对于内存的使用行为，认为其主要工作是通过对内存行为进行建模与分析，并对内存的使用进行决策自动化，使调度器自动识别出有价值的弹性分布式数据集（RDD）并放入缓存。另外，也对缓存替换策略进行优化，代替了原有的近期最少使用（LRU）算法。通过改进缓存方法，提高了任务在资源有限情况下的运行效率，以及在不同集群环境下任务效率的稳定性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈康	清华大学计算机科学与技术系	23	188	7.0	13.0
2	王彬	清华大学计算机科学与技术系	40	467	11.0	21.0
3	冯琳	清华大学计算机科学与技术系	10	59	5.0	7.0