基于预测的云计算热点数据副本因子决策算法

• 作者: 孙振 孙静 张松 杜庆伟
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 热点数据 副本管理 云计算 Hadoop 灰色预测 生灭过程
• 年，卷（期）: 2015,（2）
• 页码范围: 62-66,72
• 页数: 6页
• 分类号: TP274
• 字数: 5115字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2015.02.014

摘要

为了提高数据的可用性和集群的整体性能，目前的HDFS（ Hadoop Distributed File System）采用了副本数目固定的副本放置技术，然而由于文件热度存在较大差异，对那些具有较高热度文件的访问将影响作业的执行。为克服上述问题，本文提出一种基于预测的热点数据副本因子决策算法。根据数据的最近访问特征，基于灰色预测技术，采用马尔科夫预测模型修正因数据波动和突发访问造成的预测偏差，获取文件的未来访问热度，并基于预测值建立有限通道服务模型，寻找满足用户需求的最小副本因子。实验表明，较之现有的副本管理策略和基于实时热度调整副本因子策略，本策略可以有效减少热点数据的访问冲突，减少热点数据作业的执行时间和网络负载。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜庆伟	南京航空航天大学计算机科学与技术学院	18	105	8.0	9.0
2	张松	南京航空航天大学计算机科学与技术学院	3	21	2.0	3.0