基于注意力的权重分配机制

• 作者: 张亚飞
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 深度学习 神经网络 网络优化 注意力机制 先验知识
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 49-53
• 页数: 5页
• 分类号: TP302.1
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2020.09.009

摘要

目前,基于神经网络的深度学习技术得到了飞速的发展,已经广泛应用于日常生活,如行人检测、车牌识别、人脸识别等.理论上可以通过不断扩大神经网络规模来提高算法准确度,然而这种方法并不可行.原因在于单纯扩大网络规模会导致过拟合.为了解决这个问题,通过人的先验知识来指导神经网络结构的设计以及明确神经网络每一个模块需要学习的目标,进而通过明确的模块分工来提升神经网络性能.受注意力机制和正则化方法的启发,提出了一个基于注意力机制的自适应权重分配算法,通过对神经网络各模块进行合理的权重分配,强调或者弱化某些输入数据对于下一步处理的贡献并以可微分的方式进行设计,完成一个端对端的神经网络.实验结果显示相比于其他方法,该算法达到了更好的效果.