基于SD N的MapRed uce带宽优化设计

• 作者: 吕璐 徐冠 戴彬 杨军 王曼
• 来源期刊: 计算机应用研究
• 关键词: 软件定义网络 MapReduce 带宽优化 中间值合并
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 网络与通信技术
• 页码范围: 3109-3113
• 页数: 5页
• 分类号: TP393.02
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.10.052

摘要

在实际Hadoop系统中，如何使作业完成时间最短成为了一个NP完全问题，导致这个问题的主要原因是MapReduce计算过程中大量的数据从Map节点向Reduce节点进行迁移，容易造成网络拥塞，使得数据迁移时间过长。软件定义网络（SDN）实现了路由控制和数据转发的分离，同时使交换机能够对网络中的数据进行灵活处理，使控制器能够知晓全局网络拓扑结构，其集中式管理模式为Hadoop进行性能优化带来了可能性。利用SDN对网络的灵活控制，让Map中间值在OpenFlow交换机上进行数据合并，减少数据流量和数据迁移时间，提高Hadoop工作效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨军	华中科技大学电子信息与通信学院	98	729	15.0	21.0
2	王曼	华中科技大学电子信息与通信学院	8	57	4.0	7.0
3	戴彬	华中科技大学电子信息与通信学院	31	205	8.0	12.0
4	徐冠	华中科技大学电子信息与通信学院	4	58	4.0	4.0
5	吕璐	华中科技大学电子信息与通信学院	2	4	1.0	2.0