基于改进深度强化学习的虚拟网络功能部署优化算法

• 作者: 唐伦 贺兰钦 连沁怡 谭颀
• 来源期刊: 电子与信息学报
• 关键词: 虚拟网络功能 深度强化学习 服务功能链端到端时延 服务功能链部署成本
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 通信与信号处理|Communication and Signal Processing
• 页码范围: 1724-1732
• 页数: 9页
• 分类号: TN929.5
• 语种: 中文
• DOI: 10.11999/JEIT200297

摘要

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.