伪标签不确定性估计的源域无关鲁棒域自适应

• 作者: 王帆 韩忠义 尹义龙
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 无监督域自适应 源域无关的域自适应 伪标签学习 信息熵 能量函数 不确定性估计
• 年，卷（期）: 2022,（4）
• 所属期刊栏目: 面向开放场景的鲁棒机器学习专刊|SPECIAL ISSUE ON ROBUST MACHINE LEARNING IN THE OPEN-WORLD SCENARIOS
• 页码范围: 1183-1199
• 页数: 17页
• 分类号: TP18
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.006467

摘要

无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被充分探索的问题:源域无关的无监督域自适应,目标是仅依据预训练的源域模型和无标签目标域数据,实现源域向目标域的正向迁移.提出一种基于伪标签不确定性估计的源域无关鲁棒域自适应的方法PLUE-SFRDA(pseudo label uncertainty estimation for source free robust domain adaptation).PLUE-SFRDA的核心思想是:根据源域模型的预测结果,联合信息熵和能量函数充分挖掘目标域数据的隐含信息,探索类原型和类锚点,以准确估计目标域数据的伪标签,进而调优域自适应模型,实现源域数据无关的鲁棒域自适应.PLUE-SFRDA包含提出的二元软约束信息熵,解决了标准信息熵不能有效估计处于决策边界样本的不确定性的问题,增强了所挖掘的类原型和类锚点的可信度,进而提高了目标域伪标签估计的准确率.PLUE-SFRDA包含了提出的加权对比过滤方法,通过比较每个样本距离该类的类锚点和其他类的类锚点的加权距离,过滤掉处于决策边界的类别信息模糊样本,进一步提高了伪标签不确定性估计的安全性.PLUE-SFDRA还包含一个信息最大化损失,实现源域分类器和伪标签估计器迭代优化,逐渐将源域模型中蕴含的源域知识迁移至目标域,进一步提高了伪标签不确定性估计的鲁棒性.在Office-31,Office-Home和VisDA-C这3个公开的基准数据集上的大量实验表明:PLUE-SFRDA不仅超过了最新的源域无关的域自适应方法的表现,还显著优于现有的依赖源域数据的域自适应方法.