Spark中一种高效RDD自主缓存替换策略研究

• 作者: 丁宇琛 魏赟
• 来源期刊: 计算机应用研究
• 关键词: Spark 弹性分布式数据集 缓存替换 内存资源利用
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 系统应用开发
• 页码范围: 3043-3047
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2019.06.0213

摘要

由于并行计算框架Spark缓存替换算法的粗糙性,LRU(least recently used)算法并未考虑RDD的重复使用导致易把高重用数据块替换出内存且作业执行效率较低等问题.通过优化权重模型和改进替换策略,提出了一种高效RDD自主缓存替换策略(efficient RDD automatic cache,ERAC),包括高重用自主缓存算法和缓存替换分级算法,可实现高效RDD的自主缓存和缓存目标的分级替换.最后利用SNAP(Stanford Network Analysis Project)提供的标准数据集将ERAC和LRU、RA(register allocation)等算法进行了对比实验,结果显示ERAC算法能够有效提高Spark的内存利用率和任务执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏赟		30	128	6.0	10.0
2	丁宇琛		1	0	0.0	0.0