自适应多任务学习的自动艺术分析

• 作者: 杨冰 向学勤 孔万增 施妍 姚金良
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 自动艺术分析 自适应多任务学习 贝叶斯理论 艺术分类 跨模态艺术检索
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 图像分析和识别|Image Analysis and Recognition
• 页码范围: 1226-1237
• 页数: 12页
• 分类号: TP391.4
• 语种: 中文

摘要

目的 艺术品数字化为从计算机视觉角度对艺术品研究提供了巨大机会.为更好地为数字艺术品博物馆提供艺术作品分类和艺术检索功能,使人们深入理解艺术品内涵,弘扬传统文化,促进文化遗产保护,本文将多任务学习引入自动艺术分析任务,基于贝叶斯理论提出一种原创性的自适应多任务学习方法.方法 基于层次贝叶斯理论利用各任务之间的相关性引入任务簇约束损失函数模型.依据贝叶斯建模方法,通过最大化不确定性的高斯似然构造多任务损失函数,最终构建了一种自适应多任务学习模型.这种自适应多任务学习模型能够很便利地扩展至任意同类学习任务,相比其他最新模型能够更好地提升学习的性能,取得更佳的分析效果.结果 本文方法解决了多任务学习中每个任务损失之间相对权重难以决策这一难题,能够自动决策损失函数的权重.为了评估本文方法的性能,在多模态艺术语义理解SemArt数据库上进行艺术作品分类以及跨模态艺术检索实验.艺术作品分类实验结果表明,本文方法相比于固定权重的多任务学习方法,在"时间范围"属性上提升了4.43％,同时本文方法的效果也优于自动确定损失权重的现有方法.跨模态艺术检索实验结果也表明,与使用"作者"属性的最新的基于知识图谱模型相比较,本文方法的改进幅度为9.91％,性能与分类的结果一致.结论 本文方法可以在多任务学习框架内自适应地学习每个任务的权重,与目前流行的方法相比能显著提高自动艺术分析任务的性能.