一种基于Spark在线Web服务的高效低延迟调度资源算法

• 作者: 丁晶晶 张功萱
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Spark Web服务 资源监视 资源调度
• 年，卷（期）: 2016,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 1550-1556
• 页数: 7页
• 分类号: TP312
• 字数: 6087字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2016.08.006

摘要

Spark作为流行的分布式数据处理框架,其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度.针对Spark资源调度问题,在Spark自身考虑的资源因素内存和空余核数下,提出新的调度算法.算法通过实时监视工作节点资源利用情况,增加对节点CPU处理速度和CPU剩余利用率的考虑,重新调度与分配资源,为Spark作为Web服务高并发请求、低延迟响应提供优化,还可以减少传统方式没有考虑的资源因素导致出现的资源利用倾斜现象,提高资源的利用率.实验表明,改进的资源调度算法有较好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张功萱	南京理工大学计算机科学与工程学院	57	386	9.0	17.0
2	丁晶晶	南京理工大学计算机科学与工程学院	1	3	1.0	1.0