支持 Hadoop大数据访问的pNFS框架研究与实现

• 作者: 何文婷 刘健 刘振军 张军伟 董欢庆 袁庆升
• 来源期刊: 计算机应用研究
• 关键词: 分布式文件系统 大数据 缓存 布局
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 系统应用开发
• 页码范围: 3340-3344
• 页数: 5页
• 分类号: TP316
• 语种: 中文
• DOI: 10.3969/j.issn.1001--3695.2016.11.031

摘要

随着大数据时代到来，分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的pNFS框架为目的，采用在Hadoop与pNFS之间添加pNFS shim layer模块的方法，实现了pNFS支持Hadoop大数据访问的HDFS APIs；通过在pNFS shim layer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对提出的框架进行测试，结果显示写性能提升超过45％，读性能提升超过97％，证明此框架可以有效地支持Hadoop大数据访问。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘健	中国科学院计算技术研究所	117	2097	25.0	41.0
5	张军伟	中国科学院计算技术研究所	9	49	4.0	6.0
6	何文婷	中国科学院计算技术研究所	4	9	2.0	3.0
10	董欢庆	中国科学院计算技术研究所	9	12	2.0	3.0
11	袁庆升	中国科学院信息工程研究所	4	19	3.0	4.0
15	刘振军	中国科学院计算技术研究所	16	92	4.0	9.0