面向边缘集群内AI数据流的双平面调度模型

• 作者: 吴明杰 陈庆奎
• 来源期刊: 小型微型计算机系统
• 关键词: 边缘计算 边缘集群 DPDK AI数据流 双平面架构 任务迁移调度
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 计算机网络与信息安全|Computer Network and Information Security
• 页码范围: 1332-1339
• 页数: 8页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2021.06.033

摘要

随着边缘AI的兴起,边缘GPU集群被广泛用于大量并发AI数据流的实时处理.AI数据流不仅需要在集群内传输,还需要在计算节点上排队和计算.为了减少响应时间,研究者们旨在通过优秀的调度算法减少任务的排队等待时间,而忽略了调度命令的传输耗时.在传统的单平面框架下,由于调度命令与数据在同一个物理线路上传输,在集群内传输数据量很高时,容易因调度命令的传输延迟和丢弃而调度失败,甚至造成集群性能下降或者故障.本文提出一种边缘集群内AI数据流的双平面调度模型.首先,提出一种双平面的框架,将调度命令和数据传输从物理上分离,互不影响.其次,在数据平面使用基于DPDK的多网卡并行通信技术以提高数据传输的效率和带宽,针对AI数据流设计和实现了基于消息的可靠传输协议.最后,提出兼顾计算节点网络负载和计算负载的任务迁移调度模型,旨在降低集群内数据流的排队延时.在不出现消息丢失的情况,本文的双平面架构传输方案能够增加集群数据流容量约30％;在不出现任务丢弃的情况下,本文的双平面架构调度模型能够增加集群数据流容量约15％.