基于最优传输理论的联合分布匹配方法及应用

• 作者: 曹杰彰 莫朗元 杜卿 国雍 赵沛霖 黄俊洲 谭明奎
• 来源期刊: 计算机学报
• 关键词: 联合分布匹配 最优传输理论 Wasserstein距离 无监督图像翻译 跨域视频合成
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 人工智能与社会计算
• 页码范围: 1233-1245
• 页数: 13页
• 分类号: TP311
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2021.1233

摘要

联合分布匹配问题是机器学习和计算机视觉领域的研究热点之一.该问题旨在学习双向映射以匹配两个域的联合分布,目前仍然面临两个重要挑战:第一:两个不同域之间的相关性信息难以被充分利用.第二:联合分布匹配问题难以建模和优化.基于最优传输理论,本文通过最小化两个域间联合分布的Wasserstein距离来解决上述挑战.首先,本文提出一个定理将难以求解的Wasserstein距离原问题转化为一个简单的优化问题,并设计了一个联合Wasserstein自编码器模型(JWAE)来求解该问题.然后,本文将JWAE成功应用在无监督图像翻译和跨域视频合成任务中,并生成高质量的图像和连贯的视频.实验结果表明,JWAE在两种任务中的定性和定量指标上均优于现有方法.比如,在"街景→语义分割"图像翻译任务中,JWAE的IS值比CycleGAN高0.59,FID值比CycleGAN小65.8.在"冬季→夏季"跨域视频合成任务中,JWAE的FID4video值比Slomo-Cycle小2.2.