基于内存与文件共享机制的Spark I/O性能优化

• 作者: 崔更申 汪振 王玉良 黄廷辉
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 分布式计算 Spark平台 Shuffle过程 磁盘I/O 任务调度
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 1-6
• 页数: 6页
• 分类号: TP316.4
• 字数: 3847字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2017.03.001

摘要

通过对Spark采用的弹性分布式数据集及任务调度等关键技术进行分析,发现数据处理I/O时间是影响Spark计算性能的主要瓶颈.为此,研究Spark合并文件运行模式,该模式能够减少缓存文件数量,提高Spark的I/O效率,但存在内存开销较高的缺点.在此基础上,给出改进的Spark Shuffle过程,即通过设计一种使每个Mapper只生成一个缓存文件的运行模式,并且每个Mapper共享同一个内存缓冲区,从而提高I/O效率和减少内存开销.仿真结果表明,与Spark默认模式相比,该运行模式宽依赖计算过程的I/O时间缩短42.9%,可有效提高内存利用率和Spark平台运算效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄廷辉	桂林电子科技大学计算机与信息安全学院	36	273	10.0	15.0
2	崔更申	桂林电子科技大学计算机与信息安全学院	36	207	7.0	13.0
3	王玉良	桂林电子科技大学计算机与信息安全学院	4	76	4.0	4.0
4	汪振	桂林电子科技大学计算机与信息安全学院	2	24	2.0	2.0