基于贝叶斯权函数的模型无关元学习算法

• 作者: 许仁杰 刘宝弟 张凯 刘伟锋
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 贝叶斯分析 高斯随机过程 机器学习 元学习 小样本学习
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 2021年中国计算机学会人工智能会议(CCFAI 2021)|2021 CCF Conference on Artificial Intelligence (CCFAI 2021)
• 页码范围: 708-712
• 页数: 5页
• 分类号: TP183
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2021040758

摘要

模型无关的元学习(MAML)是一种多任务的元学习算法,能使用不同的模型,并快速地在不同任务之间进行适应,但MAML在训练速度与准确率上还亟待提高.从高斯随机过程的角度出发对MAML的原理进行分析,提出一种基于贝叶斯权函数的模型无关元学习(BW-MAML)算法,该权函数利用贝叶斯分析设计并用于损失的加权.训练过程中,BW-MAML将每次抽样的任务视为遵循高斯分布,根据贝叶斯分析计算不同任务在分布中的概率,并根据任务在分布中的概率判断该任务重要程度,再以此赋以不同的权重,从而提高每次梯度下降中信息的利用率.在Omniglot与Mini-ImageNet数据集上的小样本图像学习实验结果表明,通过增加贝叶斯权函数,BW-MAML的训练效果在6任务训练2500步后,在Mini-ImageNet上的准确率比MAML的准确率最高提高了1.9个百分点,并且最终准确率比MAML平均提升了0.907个百分点;在Omniglot上的准确率也平均提升了0.199个百分点.