一种面向HDFS的数据随机访问方法

• 作者: 孙功星 孙震宇 李强
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop分布式文件系统 随机访问 权限管理
• 年，卷（期）: 2017,（10）
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP30
• 字数: 4707字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1612-0497

摘要

为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问.在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法.其设计思想是为Datanode添加本地数据访问接口,用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录.文件的首副本由用户程序直接产生,其余副本在首副本写入完成之后采用数据复制的方式生成.此外,为数据块添加了权限管理功能,Datanode上的文件副本属于用户所有.若名字空间中文件权限发生变化,文件对应的数据块权限也会改变.测试表明,数据读取性能提升了约10%,数据写入性能提升了20%以上,在高并发下写入性能最大可提升2.5倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李强	中国科学院高能物理研究所	307	4416	30.0	55.0
5	孙功星	中国科学院高能物理研究所	42	177	8.0	10.0
6	孙震宇	中国科学院高能物理研究所	7	23	3.0	4.0