基于深度确定性策略梯度的虚拟网络功能迁移优化算法

• 作者: 唐伦 贺兰钦 谭颀 陈前斌
• 来源期刊: 电子与信息学报
• 学科: 工学
• 关键词: 虚拟网络功能 深度强化学习 SFC端到端时延 网络能耗
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 论文
• 页码范围: 404-411
• 页数: 8页
• 分类号: TN929.5
• 语种: 中文
• DOI: 10.11999/JEIT190921

摘要

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略.仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率.