56 / 2022-09-29 13:30:30

基于CLIP和双空间自适应实例归一化的图像翻译

摘  要：现有的图像翻译方法大多需要依赖数据集域标签才能进行，这种依赖往往限制了它们的应用范围。而目前针对完全无监督图像翻译任务的方法虽然能解决域标签的限制问题，但普遍存在源域信息丢失的现象。为此，本文提出一个基于CLIP和双空间自适应实例归一化（DSAdaIN）的无监督图像翻译模型。首先，针对数据集域标签的依赖问题，引入了CLIP相似性损失对风格特征施加约束，以在完全无监督的情况下实现图像翻译。然后，为了能够较好地保留源域信息，提出了一个新的双空间自适应实例归一化网络来优化风格特征和内容特征的融合过程。最后，为了确保翻译过程中CLIP相似性损失能够发挥作用，提出了鉴别器匹配对比损失来平衡生成对抗网络损失的优化过程。在数据集AFHQ和CelebA-HQ上的实验结果均表明，本文方法在定性和定量的评估上均优于现有方法。