集成I/O硬件压缩加速器的Hadoop系统结构

• 作者: 刘鹏 郭俊 钱斌海 雷力 顾雄礼
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop I/O 硬件压缩加速器
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 1524-1529
• 页数: 6页
• 分类号: TP393
• 字数: 4501字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.08.002

摘要

随着大数据的发展,Hadoop系统成为了大数据处理中的重要工具之一.在实际应用中,Hadoop的I/O操作制约系统性能的提升.通常Hadoop系统通过软件压缩数据来减少I/O操作,但是软件压缩速度较慢,因此使用硬件压缩加速器来替换软件压缩.Hadoop运行在Java虚拟机上,无法直接调用底层I/O硬件压缩加速器.通过实现Hadoop压缩器/解压缩器类和设计C++动态链接库来解决从Hadoop系统中获得压缩数据和将数据流向I/O硬件压缩加速器两个关键技术,从而将I/O硬件压缩加速器集成到Hadoop系统框架.实验结果表明,I/O硬件压缩加速器的每赫兹压缩速度为15.9 Byte/s/Hz,集成I/O硬件压缩加速器提升Hadoop系统性能2倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘鹏	浙江大学信息与电子工程学院	78	817	15.0	26.0
2	雷力	浙江大学信息与电子工程学院	2	2	1.0	1.0
3	钱斌海	浙江大学信息与电子工程学院	1	2	1.0	1.0
4	郭俊	浙江大学信息与电子工程学院	1	2	1.0	1.0
5	顾雄礼		1	2	1.0	1.0