一种Spark集群下的shuffle优化机制

• 作者: 夏玉冲 杨方方 熊安萍
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Spark集群 shuffle过程 数据传输 本地性 调度策略
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 72-76
• 页数: 5页
• 分类号: TP311
• 字数: 3528字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1701-0238

摘要

Spark是基于内存的分布式数据处理框架,其shuffle过程中大量数据需要通过网络传输,已成为Spark最主要的瓶颈之一.针对shuffle过程中存在的数据分布不均造成不同节点网络I/O负载不均的问题,设计了基于task本地性等级的重启策略,进一步提出了均衡的调度策略来平衡各节点的网络I/O负载.最后通过实验验证了优化机制能够减少计算任务的执行时间,提升整个shuffle过程的执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊安萍	重庆邮电大学计算机科学与技术学院	44	302	9.0	15.0
5	夏玉冲	重庆邮电大学计算机科学与技术学院	1	6	1.0	1.0
6	杨方方	重庆邮电大学计算机科学与技术学院	1	6	1.0	1.0