面向固态硬盘的Spark数据持久化方法设计

• 作者: 朱金彬 李正民 陆克中 隋秀峰
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 大数据 混合存储 固态硬盘 Spark 持久化
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 计算机体系结构前沿技术(一)专题
• 页码范围: 1381-1390
• 页数: 10页
• 分类号: TP303
• 字数: 7359字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2017.20170108

摘要

基于固态硬盘(solid-state drive,SSD)和硬盘(hard disk drive,HDD)混合存储的数据中心已经成为大数据计算领域的高性能载体,数据中心负载应该可将不同特性的数据按需持久化到SSD或HDD,以提升系统整体性能.Spark是目前产业界广泛使用的高效大数据计算框架,尤其适用于多次迭代计算的应用领域,其原因在于Spark可以将中间数据持久化在内存或硬盘中,且持久化数据到硬盘打破了内存容量不足对数据集规模的限制.然而,当前的Spark实现并未专门提供显式的面向SSD的持久化接口,尽管可根据配置信息将数据按比例分布到不同的存储介质中,但是用户无法根据数据特征按需指定RDD的持久化存储介质,针对性和灵活性不足.这不仅成为进一步提升Spark性能的瓶颈,而且严重影响了混合存储系统性能的发挥.有鉴于此,首次提出面向SSD的数据持久化策略.探索了Spark数据持久化原理,基于混合存储系统优化了Spark的持久化架构,最终通过提供特定的持久化API实现用户可显式、灵活指定RDD的持久化介质.基于SparkBench的实验结果表明,经本方案优化后的Spark与原生版本相比,其性能平均提升14.02％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陆克中	深圳大学计算机与软件学院	21	160	7.0	11.0
2	李正民		8	45	4.0	6.0