基于Docker的Hadoop集群网络性能分析

• 作者: 凌杰 黄刚
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 大数据 Hadoop Docker Mininet
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 基金项目
• 页码范围: 15-18
• 页数: 4页
• 分类号: TP311.5
• 字数: 2390字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2018.02.004

摘要

针对Hadoop从网络的角度来研究提高Hadoop性能的方法不足的问题,提出了一个通过相关工具,根据不同的网络配置,在虚拟化环境Mininet下监测并分析Hadoop集群的网络特性的系统框架.本系统建立一个在Docker容器内运行的Mininet的Hadoop集群,按照不同的需求,通过配置Mininet方便地修改网络拓扑结构,可以监测容器和虚拟交换机的网络流量,并通过网络流量监视器观察网络行为,分析不同的网络设置对Hadoop性能的影响.实验从集群中没有背景流量、集群中的背景流量无QoS控制、集群中的背景流量有QoS控制,三个方面对Hadoop集群网络性能进行了详细分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄刚	南京邮电大学计算机学院	66	823	12.0	27.0
2	凌杰	南京邮电大学计算机学院	1	9	1.0	1.0