反问题的一致性正则梯度流

视觉语言潜在扩散模型 (LDM)（Rombach 等人，2022）为逆问题提供了强大的生成先验。然而，现有的基于 LDM 的逆求解器通常需要大量的神经函数评估 (NFE) 和通过大型预训练组件进行反向传播，从而导致大量的计算成本，并且在某些情况下还会降低重建质量。我们提出了一个统一的 Euclidean-Wasserstein-2 梯度流框架，该框架通过将先验和后验与观察到的数据对齐的单个流程，在潜在空间中联合执行后验采样和提示优化。与几个步骤的潜在文本到图像模型相结合，该公式可以实现低 NFE 推理，而无需通过自动编码器进行反向传播。几个典型成像反演问题的实验表明，我们的方法实现了最先进的性能，同时显着降低了计算成本。