论文

A${}^2$BM:用于图像到图像转换的对齐感知桥匹配

A${}^2$BM: Alignment-Aware Bridge Matching for Image-to-Image Translation

应用与实践内容创作

摘要

配对图像到图像的转换支撑着广泛的计算机视觉任务,包括图像编辑、传感器转换和领域适应。桥匹配和流匹配最近已成为强大的框架,将扩散模型扩展到任意源和目标分布。然而,他们的标准公式假设训练对完全一致,将所有源-目标对应视为同样可靠。在实践中,由于采集条件的变化,实际应用通常涉及弱对齐对,包括例如异步捕获、不同的照明或配准错误。在这项工作中,我们引入了对齐感知桥匹配(A${}^2$BM),这是一种在训练期间利用图像对对齐的桥匹配方法。通过合并对齐分数,模型学习将真实的语义对应与未对齐的伪影分开。在推理时,我们使用对齐分数作为翻译保真度的控制变量,当提示具有最高对齐分数的模型时获得强对齐的输出。我们在受控合成实验和具有挑战性的现实世界任务(包括跨传感器超分辨率和像素空间无监督域适应)上验证了 A${}^2$BM。在所有设置中,A${}^2$BM 始终比基于强 GAN、扩散和薛定谔桥的基线提高翻译保真度,将对齐调节建立为具有弱对齐数据的图像翻译模型的原则解决方案。