面向MapReduce的中间数据传输流水线优化机制

• 作者: 张元鸣 虞家睿 蒋建波 陆佳炜 肖刚
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: MapReduce框架 中间数据传输 传输延迟 流水线 溢写文件归并
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 新型分布式计算技术与系统
• 页码范围: 41-46
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.191000103

摘要

MapReduce是一种适用于大数据处理的重要并行计算框架,通过在大量集群节点上并行执行多个任务,极大地提高了数据的处理性能.然而,由于中间数据需要等到Mapper任务完成之后才能被发送给Reducer任务,由此导致的大量传输延迟成为MapReduce框架性能的重要瓶颈.为此,文中提出了一种面向MapReduce的中间数据传输流水线优化机制,将有效计算与中间数据传输解耦,以流水线的方式重叠执行各个阶段,有效隐藏数据传输开销.文中还给出了中间数据传输流水线执行机制和实现策略,包括流水线划分、数据细分、数据归并和数据传输粒度等.在公开数据集上对所提中间数据传输流水线优化机制进行了评价,当Shuffle数据量较大时,该优化机制比默认框架的整体性能提高了60.2％.