面向MapReduce计算的大规模集群通信优化

• 作者: 何淑庆 刘海涛 曹云鹏 王海峰
• 来源期刊: 计算机应用研究
• 关键词: 数据通信优化 MapReduce 软件定义网络 协同数据映射
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 网络与通信技术
• 页码范围: 1174-1178
• 页数: 5页
• 分类号: TN915.02
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.10.0766

摘要

为了优化大规模集群运行MapReduce作业时的通信效率和减少shuffle数据传输量,首先采用存储局部性换取通信局部性的策略建立一个分布式协同数据映射模型;其次通过随机抽样和机器学习方法来提取作业数据的局部性特征,实现map计算数据的有效部署;最后,利用软件定义网络的全局灵活控制能力,优选通信链路好的节点并将计算任务映射到该类节点中.实验表明对于中间数据混洗密集类作业有较好的优化效果,通信延迟降低了4.3％～5.8％.该方案能减少shuffle流量和数据迁移延迟,并且适合各种调度策略和网络拓扑结构.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王海峰	临沂大学信息科学与工程学院	24	113	5.0	10.0
5	刘海涛	临沂大学信息科学与工程学院	2	0	0.0	0.0
9	曹云鹏	临沂大学信息科学与工程学院	6	14	3.0	3.0