压缩对Hadoop性能影响研究

• 作者: 向丽辉 张大方 缪力
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop MapReduce I/O 压缩
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 高性能计算
• 页码范围: 207-212
• 页数: 6页
• 分类号: TP311.564
• 字数: 5172字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2015.02.003

摘要

当今,磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度,并且网络I/O资源稀缺,所以I/O常常成为数据处理的瓶颈.Hadoop能存储PB级数据,因此I/O问题愈加显著.压缩是I/O调优的一个重要方法,它能减少I/O的负载,加快磁盘和网络上的数据传输.首先通过分析Ha-doop中各压缩算法的特点,得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩,并用实验得以验证补充.基于该策略,一些Hadoop应用在合理使用压缩后,效率能提高65％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张大方	湖南大学信息科学与工程学院	295	2498	22.0	33.0
2	缪力	湖南大学信息科学与工程学院	35	167	8.0	10.0
3	向丽辉	湖南大学信息科学与工程学院	1	8	1.0	1.0