关于Hadoop中I/O的研究

• 作者: 刘涌 赵静雅 韩伟
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: HADOOP HDFS I/O 压缩
• 年，卷（期）: 2018,（5X）
• 页码范围: 239-239
• 页数: 1页
• 分类号: TP311.13

摘要

Hadoop在存储数据的过程中,首先要保证的就是数据的完整性,通常,Hadoop是根据由数据计算出的校验和进行数据验证的,从而保证数据的完整性,为了达到持续保持完整性的目的,Hadoop会分别在I/O过程中和利用定时扫描程序验证数据并具备一套完善的纠正机制;在此前提下,通过文件的压缩,Hadoop可以有效地减少文件占用的空间并提高文件传输速度,相关的压缩算法有bzip2和LZO等。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	韩伟		36	68	4.0	6.0
2	赵静雅		44	25	3.0	3.0
3	刘涌		31	24	3.0	3.0