论文
超越时空先验：密集对应匹配的通用方法
Beyond Spatio-Temporal Priors: A Generalizable Approach for Dense Correspondence Matching
摘要
密集对应匹配历来受到简化时空先验的限制，例如平滑运动和刚性几何。虽然对经典任务有效，但这些假设在图像编辑和参考引导生成 (IEG) 中被打破，其中变换可以保留视觉标识，同时破坏物理连续性。为了在此类转换中建立身份保留对应关系，我们引入了 FreeMatching，这是一种通用框架，它将生成和语义基础表示与来自经典数据集、跟踪视频和合成场景的异构监督相结合。教师指导的迭代细化进一步改进了 IEG 中的对应性，而无需密集的对应性注释。实验上，单个 FreeMatching 模型显着提高了具有挑战性的 IEG 图像对的对应质量，同时保持了经典基准的竞争性能。此外，我们还证明了它作为评估身份保存的定量指标的实用性，其得分与人类判断相关。代码 可在https://github.com/luping-liu/FreeMatching.获得