一种多头注意力提高神经网络泛化的方法

• 作者: 陈曦 姜黎
• 来源期刊: 软件导刊
• 关键词: 神经网络 多头注意力 泛化能力
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 人工智能
• 页码范围: 34-38
• 页数: 5页
• 分类号: TP301
• 语种: 中文
• DOI: 10.11907/rjdk.201854

摘要

针对目前许多神经网络模型存在泛化能力较差现象,提出一种多头注意力方法以缓解神经网络泛化问题.该方法利用多头注意力从并行的长短期记忆网络(LSTM)中选择性激活并进行信息交流.在信息交流过程中既保留了普遍性信息,又加强了鲁棒性,从而提高神经网络的泛化能力.在对比传统并行LSTM实验中,该方法在4种数据集的平均测试误差比传统方法约低1.39％.另外与3种相关研究进行对比,该方法在4种数据集的平均测试误差比次优算法约低0.21％,并且在加噪情况下平均测试误差也比次优算法约低0.73％.理论分析和实验证明该方法能够有效提高神经网络泛化能力.