基于深度强化学习的服务功能链多维资源优化

• 作者: 王晓 唐伦 贺小雨 陈前斌
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 网络功能虚拟化 服务功能链部署 无线资源分配 强化学习 深度确定性策略梯度算法
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 网络、通信与安全
• 页码范围: 68-76
• 页数: 9页
• 分类号: TN929.5|TP393
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2002-0068

摘要

在网络功能虚拟化(Network Function Virtualization,NFV)环境下,保证用户服务功能链(Service Function Chain,SFC)服务质量的同时节约资源消耗,降低运营成本,对运营商来说至关重要.联合考虑SFC部署和无线接入网资源分配,提出一种基于深度强化学习的SFC多维资源联合分配算法.构建一种基于环境感知的SFC资源分配机制,建立用户时延要求、无线速率需求以及资源容量等约束下的SFC部署成本最小化模型.考虑到无线环境的动态变化,将此优化问题转化为一个无模型离散时间马尔科夫决策过程(Markov Decision Process,MDP)模型.由于该MDP状态空间的连续性和动作空间的高维性,采用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)强化学习算法进行求解,得到最小化部署成本的资源分配策略.仿真结果表明,该算法可在满足性能需求及资源容量等约束的同时,有效降低SFC部署成本和端到端传输时延.