基于Hadoop的访问热点副本迁移技术

• 作者: 冯钧 朱康康 王纯 魏童童
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 云存储 大数据 数据迁移 动态副本 访问热点
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 网络与通信
• 页码范围: 108-113
• 页数: 6页
• 分类号: TP391
• 字数: 6451字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2016.01.022

摘要

提出一种云环境下的访问热点负载均衡模型:基于节点的吞吐量与响应时间等主要参考指标,构建节点负载判定模块;文件在HDFS存储的过程中,将文件对应的数据块编号与存储路径相结合,设计存放在数据节点中的数据块到文件目录映射表;提出一种基于节点负载以及节点的存储空间的迁移源节点和目标节点选择方法;基于机架感知的机制,制定一种动态副本迁移方案.最后利用执行器下发指令给相应的数据节点,执行具体的迁移任务以及完善迁移后副本因子等参数信息的调整.通过迅速扩散副本的方式,来增加热点文件的副本数量,使得系统能够对外提供更大的吞吐量,缩短系统反应时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯钧	河海大学计算机与信息学院	73	385	12.0	16.0
2	王纯	河海大学计算机与信息学院	2	6	2.0	2.0
3	朱康康	河海大学计算机与信息学院	2	13	2.0	2.0
4	魏童童	河海大学计算机与信息学院	3	16	2.0	3.0