基于小样本无梯度学习的卷积结构预训练模型性能优化方法

• 作者: 李亚鸣 邢凯 邓洪武 王志勇 胡璇
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 资本资产定价模型 Wasserstein距离 无梯度学习 自注意力机制 预训练模型
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 365-374
• 页数: 10页
• 分类号: TP18
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2021020230

摘要

针对卷积结构的深度学习模型在小样本学习场景中泛化性能较差的问题,以AlexNet和ResNet为例,提出一种基于小样本无梯度学习的卷积结构预训练模型的性能优化方法.首先基于因果干预对样本数据进行调制,由非时序数据生成序列数据,并基于协整检验从数据分布平稳性的角度对预训练模型进行定向修剪;然后基于资本资产定价模型(CAPM)以及最优传输理论,在预训练模型中间输出过程中进行无需梯度传播的正向学习并构建一种全新的结构,从而生成在分布空间中具有明确类间区分性的表征向量;最后基于自注意力机制对生成的有效特征进行自适应加权处理,并在全连接层对特征进行聚合,从而生成具有弱相关性的embedding向量.实验结果表明所提出的方法能够使AlexNet和ResNet卷积结构预训练模型在ImageNet 2012数据集的100类图片上的Top-1准确率分别从58.82％、78.51％提升到68.50％、85.72％,可见所提方法能够基于小样本训练数据有效提高卷积结构预训练模型的性能.