基于双向深度生成模型和功能磁共振成像数据的大脑编码和解码

• 作者: 何晖光 李劲鹏 杜长德 黄利皆
• 来源期刊: 工程（英文）
• 关键词: 大脑编码和解码 功能磁共振成像 深度神经网络 深度生成模型 对偶学习
• 年，卷（期）: 2019,（5）
• 页码范围: 948-953,中插153-中插159
• 页数: 7页
• 字数: 5715字
• 语种: 英文

摘要

通过功能磁共振成像(fMRI)进行大脑编码和解码是视觉神经科学的两个重要方面.尽管以前的研究人员在大脑编码和解码模型方面取得了显著进步,但是现有方法仍需要使用先进的机器学习技术进行改进.例如,传统方法通常会分别构建编码和解码模型,并且容易对小型数据集过度拟合.实际上,有效地统一编码和解码过程可以进行更准确的预测.在本文中,我们首先回顾了现有的编码和解码方法,并讨论了"双向"建模策略的潜在优势.接下来,在体系结构和计算规则方面,我们证明了深度神经网络和人类视觉通路之间存在的对应关系.此外,深度生成模型[如变分自编码器(VAE)和生成对抗网络(GAN)]在大脑编码和解码研究中产生了可喜的成果.最后,我们提出了最初为机器翻译任务设计的对偶学习方法,该方法通过利用大规模未配对数据提高了编码和解码模型的效果.