神经采样

• 作者: 朱军 萧子豪
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 脉冲神经网络 神经采样 马尔可夫链蒙特卡洛 受限玻尔兹曼机 类脑硬件 人工智能
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 1379-1393
• 页数: 15页
• 分类号: TP18
• 字数: 15625字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2017.01379

摘要

神经采样是国际上最近提出的一种基于脉冲神经网络动力学的吉布斯采样算法,是一种有希望在类脑硬件上实现贝叶斯概率推断的算法.神经采样的仿生特点包括考虑神经元间通过发放脉冲来传递信息、突触后膜电压和迟滞效应等.该文首先会介绍国际上在神经采样方面已有的工作,分三小部分:第1部分涉及神经采样的抽象模型,包括其原理和在任意贝叶斯网络中采样的具体模型;第2部分涉及硬件实现,包括用累积发放(I&F)模型近似连续时间神经采样动力学的方法;第3部分通过结合前两部分,涉及用脉冲神经网络动力学训练传统的机器学习模型,并在经典计算机上模拟这个训练过程.第3部分具体包括基于脉冲时间的突触可塑性(STDP)的受限玻尔兹曼机(RBM)的事件驱动相对散度训练算法.最后,我们在训练RBM的相对散度和持续相对散度算法中,用神经采样替代传统的吉布斯采样.该文的工作首先分析了神经采样对初始化状态敏感和混合速度慢的采样特点,然后提出方法消除了这两个采样特点对训练的负面影响.在MNIST数据集上的实验初步显示,基于修正后的神经采样的训练算法能恢复跟传统基于吉布斯采样的算法相似的重构效果.目前在机器学习领域,基于概率的学习算法已发展成主流.神经采样方面的工作为在类脑硬件上实现低能耗的概率模型计算提供方法,未来有希望被用于提高移动设备的智能水平.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱军	清华大学智能技术与系统国家重点实验室	11	253	5.0	11.0
2	萧子豪	清华大学计算机科学与技术系	1	0	0.0	0.0