不同网络环境下大数据系统的测试与分析

• 作者: 何耀 朱叶青 牛德姣 蔡涛
• 来源期刊: 江苏大学学报（自然科学版）
• 学科: 工学
• 关键词: 大数据处理系统 网络架构 Hadoop Tachyon Spark Infiniband IPoIB RDMA
• 年，卷（期）: 2016,（4）
• 页码范围: 429-437
• 页数: 9页
• 分类号: TP393.0
• 字数: 7082字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7775.2016.04.010

摘要

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响，在介绍与分析不同网络架构和通讯协议的基础上，使用以太网和Infiniband网络连接，安装TCP／IP，IPoIB和RDMA协议，构建了Hadoop，Tachyon和Spark原型系统，使用通用测试工具和例程等进行了测试．测试结果表明相比使用TCP／IP，使用IPoIB能提高Hadoop的I／O性能4.6～5.6倍，减少Tachyon数据处理的时间开销达2％～27％，减少了Spark 90％～95％的时间开销，同时Spark性能提高了46倍．此外使用RDMA相比IPoIB减少了3％～15％的系统开销．最终分析得出，高速网络架构和高效通讯协议能有效提高大数据处理系统的I／O性能、处理效率和适应能力．

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡涛	江苏大学计算机科学与通信工程学院	40	150	7.0	10.0
2	牛德姣	江苏大学计算机科学与通信工程学院	26	134	7.0	11.0
3	何耀	江苏大学计算机科学与通信工程学院	2	8	1.0	2.0
4	朱叶青	江苏大学计算机科学与通信工程学院	1	8	1.0	1.0