基于HDFS的分布式存储策略分析

• 作者: 王来 翟健宏
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: HDFS 分布式存储 副本存放策略 数据驱动
• 年，卷（期）: 2016,（1）
• 页码范围: 5-8
• 页数: 4页
• 分类号: TP391.41
• 字数: 3299字
• 语种: 中文

摘要

本文重点围绕HDFS机架感知和副本存放策略方面对HDFS分布式存储进行剖析.副本存放策略和机架感知主要通过Datanode节点形成的树状网络拓扑图来让Namenode节点获取,从而确定副本存放的位置,这种方式保证了对于数据的极高的容错性的同时也兼顾了数据本地化,即提高了数据在集群网络中的传输效率.基于此,提出一个设想,希望通过对副本存放策略的深入挖掘,根据Datanode数据节点的实时状态信息,实现对于数据块副本的定向存储,再由数据驱动任务分配,来为每一个Datanode数据节点分配更适合的任务,从而达到负载均衡提高资源利用率的作用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	翟健宏	哈尔滨工业大学计算机科学与技术学院	25	116	7.0	9.0
2	王来	哈尔滨工业大学计算机科学与技术学院	1	14	1.0	1.0