基于改进强化学习的模块化自重构机器人编队

• 作者: 李伟科 岳洪伟 王宏民 杨勇 赵敏 邓辅秦
• 来源期刊: 计算技术与自动化
• 关键词: 模块化自重构机器人 强化学习 多智能体 编队
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 控制系统与自动化装置
• 页码范围: 6-13
• 页数: 7页
• 分类号: TP39
• 语种: 中文
• DOI: 10.16339/j.cnki.jsjsyzdh.202203002

摘要

针对传统强化学习算法在训练初期缺乏对周围环境的先验知识，模块化自重构机器人会随机选择动作，导致迭代次数浪费和算法收敛速度缓慢的问题，提出一种两阶段强化学习算法。在第一阶段，利用基于群体和知识共享的Q-learning训练机器人前往网格地图的中心点，以获得一个最优共享Q表。在这个阶段中，为了减少迭代次数，提高算法的收敛速度，引入了曼哈顿距离作为奖赏值，以引导机器人向有利于中心点方向移动，减小稀疏奖励的影响。在第二阶段，机器人根据这个最优共享Q表和当前所处的位置，找到前往指定目标点的最优路径，形成指定的队形。实验结果表明，在50×50的网格地图中，与对比算法相比，该算法成功训练机器人到达指定目标点，减少了将近50%的总探索步数。此外，当机器人进行队形转换时，编队运行时间减少了近5倍。