并行计算框架Spark的自适应缓存管理策略

• 作者: 于炯 修位蓉 卞琛 英昌甜
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 并行计算 缓存管理策略 Spark 弹性分布式数据集
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 学术论文
• 页码范围: 278-284
• 页数: 7页
• 分类号: TP311
• 字数: 5292字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2017.02.003

摘要

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph) 结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	卞琛	新疆大学信息科学与工程学院	25	209	8.0	13.0
4	修位蓉	新疆大学信息科学与工程学院	6	42	3.0	6.0
5	英昌甜	新疆大学信息科学与工程学院	29	254	11.0	14.0