类脑超大规模深度神经网络系统

• 作者: 吕建成 叶庆 田煜鑫 韩军伟 吴枫
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大规模深度神经网络 脑科学 多模态 通用人工智能 分布式计算
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 面向开放场景的鲁棒机器学习专刊|SPECIAL ISSUE ON ROBUST MACHINE LEARNING IN THE OPEN-WORLD SCENARIOS
• 页码范围: 1412-1429
• 页数: 18页
• 分类号: TP18
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.006470

摘要

大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规模.同时,现有的大规模神经网络在多通道协同处理、知识存储和迁移、持续学习方面表现不佳.提出构建一种启发于人脑功能机制的大规模神经网络模型,该模型以脑区划分和脑区功能机制为启发,集成大量现有数据和预训练模型,借鉴脑功能分区来模块化构建大规模神经网络模型,并由脑功能机制提出相应的学习算法,根据场景输入和目标,自动构建神经网络通路,设计神经网络模型来获得输出.该神经网络模型关注输入到输出空间的关系构建,通过不断学习,提升模型的关系映射能力,目标在于让该模型具备多通道协同处理能力,实现知识存储和持续学习,向通用人工智能迈进.整个模型和所有数据、类脑功能区使用数据库系统进行管理,该系统了还集成了分布式神经网络训练算法,为实现超大规模神经网络的高效训练提供支撑.提出了一种迈向通用人工智能的思路,并在多个不同模态任务验证该模型的可行性.