数据依赖约束下的任务调度资源选择算法

• 作者: 于炯 廖彬 张陶 杨兴耀
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 大数据计算 分布式存储系统 任务调度 数据模型 资源选择
• 年，卷（期）: 2014,（8）
• 所属期刊栏目: 先进计算
• 页码范围: 2260-2266
• 页数: 7页
• 分类号: TP311|TP274
• 字数: 7300字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2014.08.2260

摘要

大数据环境下的计算任务往往具有一定数据依赖性关系(如MapReduce),现有的分布式存储系统任务资源选择策略选择离请求者最近的数据块响应服务,忽略了对数据块所在服务器CPU、磁盘I/O与网络等资源负载状态的考虑.在分析研究系统集群结构、文件分块、数据块存储机制的基础上,定义了集群节点矩阵、CPU负载矩阵、磁盘I/O负载矩阵、网络负载矩阵、文件分块矩阵、数据块存储矩阵与数据块存储节点状态矩阵,为任务与数据之间的依赖性构建了基础数据模型,提出了一种数据依赖约束下的最优资源选择算法(ORS2 DC).任务调度节点负责维护基础数据,MapReduce任务与数据块读取任务由于依赖资源不同而采取不同的选择策略.实验结果表明:所提算法能够为任务选择质量更高的资源,提高任务完成质量的同时减轻了NameNode负担,减小了单点故障发生的概率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学软件学院	176	1315	20.0	28.0
2	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
3	张陶	新疆医科大学医学工程技术学院	16	95	7.0	9.0
4	杨兴耀	新疆大学软件学院	31	455	13.0	21.0