基于Mesos的分布式参数优化调度策略及系统设计

• 作者: 孙永泽 李铄 陆忠华
• 来源期刊: 科研信息化技术与应用
• 关键词: Apache Mesos 资源调度 参数优化 分布式系统 分布式计算
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 技术
• 页码范围: 20-30
• 页数: 11页
• 字数: 6979字
• 语种: 中文
• DOI: 10.11871/j.issn.1674-9480.2019.02.003

摘要

本文针对分布式参数优化系统的调度策略进行研究,并实现了一个基于Mesos的分布式参数优化系统.利用Mesos的资源接口,把多种常见的参数优化算法和任务调度封装为一个可以在Mesos上运行的框架软件.并针对Mesos的两级调度机制,提出了一种对混合部署集群上多作业竞争环境下的分布式参数优化系统的调度优化策略.本文设计了多组实验,对框架软件的资源调度策略与FIFO调度策略进行对比测试,可以满足多租户在混合部署场景下的使用.降低了在集群环境下进行深度学习等常见场景下的分布式参数优化的难度,在多任务竞争时提高资源使用效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陆忠华	中国科学院计算机网络信息中心	55	174	7.0	11.0
2	孙永泽	中国科学院计算机网络信息中心	2	2	1.0	1.0
6	李铄	中国科学院计算机网络信息中心	1	0	0.0	0.0