基于多层忆阻脉冲神经网络的强化学习及应用

• 作者: 周跃 张耀中 段书凯 胡小方
• 来源期刊: 自动化学报
• 关键词: 强化学习 脉冲神经网络 脉冲时间依赖可塑性规则 忆阻器
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 论文与报告
• 页码范围: 1536-1547
• 页数: 12页
• 字数: 9391字
• 语种: 中文
• DOI: 10.16383/j.aas.c180685

摘要

人工神经网络(Artificial neural networks,ANNs)与强化学习算法的结合显著增强了智能体的学习能力和效率.然而,这些算法需要消耗大量的计算资源,且难以硬件实现.而脉冲神经网络(Spiking neural networks,SNNs)使用脉冲信号来传递信息,具有能量效率高、仿生特性强等特点,且有利于进一步实现强化学习的硬件加速,增强嵌入式智能体的自主学习能力.不过,目前脉冲神经网络的学习和训练过程较为复杂,网络设计和实现方面存在较大挑战.本文通过引入人工突触的理想实现元件—忆阻器,提出了一种硬件友好的基于多层忆阻脉冲神经网络的强化学习算法.特别地,设计了用于数据-脉冲转换的脉冲神经元;通过改进脉冲时间依赖可塑性(Spiking-timing dependent plasticity,STDP)规则,使脉冲神经网络与强化学习算法有机结合,并设计了对应的忆阻神经突触;构建了可动态调整的网络结构,以提高网络的学习效率;最后,以Open AIGym中的CartPole-v0(倒立摆)和MountainCar-v0(小车爬坡)为例,通过实验仿真和对比分析,验证了方案的有效性和相对于传统强化学习方法的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	段书凯	西南大学人工智能学院	62	480	14.0	19.0
3	胡小方	西南大学人工智能学院	7	59	2.0	7.0
5	张耀中	西南大学计算机与信息科学学院	1	0	0.0	0.0
8	周跃		1	0	0.0	0.0