2020年深度学习技术发展综述

• 作者: 王亚珅
• 来源期刊: 无人系统技术
• 关键词: 深度学习 注意力机制 预训练 神经网络 开源 人工智能
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 智能前沿技术发展年度综述|Intelligent Frontier Technology Development Annual Review
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP183
• 语种: 中文
• DOI: 10.19942/j.issn.2096-5915.2021.2.011

摘要

对深度学习领域的研究进行综合评述,并对其进一步发展方向进行分析.首先分析围绕注意力机制的深度学习技术最新研究成果,以及在自然语言处理领域取得突破性进展的巨型预训练模型的特点与发展路径;随后概述开源深度学习市场的火热局面及其对技术升级的推动作用;最后分别从香农定律、冯·诺依曼架构、摩尔定律三个角度探讨深度学习技术的未来发展方向.综述表明,注意力机制和预训练范式在当前计算机视觉和自然语言处理等深度学习重点应用领域中取得长足技术突破,开源深度学习市场的兴起有效推动产学研用各领域深度学习技术落地,在今后很长一段时间里,深度学习依然具有很广阔的发展空间.