用于幂等生成的编码器-解码器流形对齐

最近，引入了几种学习范式来增强生成模型的幂等性。目标是确保模型的重复应用使样本位于目标数据流形上后保持不变。然而，在实践中，许多这些方法无法实现精确的固定点，导致重复应用下的不稳定和漂移。在这项工作中，我们认为这种失败的一个关键原因是编码器和解码器学习的流形之间的几何不匹配。编码器将输入投影到一个潜在流形上，而解码器则隐式学习从不同的流形重建数据。这种差异阻止模型学习真正的幂等映射。为了解决这个问题，我们提出了一个新的训练框架，通过强制编码器和解码器学习相同底层数据流形的一致表示来明确缩小这一差距。通过对齐这些组件的几何形状，我们的方法鼓励稳定的投影。根据经验，我们表明，与现有方法相比，我们的方法可显着降低幂等性误差，并在重复应用下一致地重新生成相同的输出。我们展示了所提出的框架在图像生成和图像编辑任务上的有效性。最后，我们表明，以这种方式强制执行幂等性可以提高身份保存和信息稳定性，从而产生更现实和可控的生成编辑模型。