通过潜在流匹配进行逆问题的混合域后采样

潜在流模型彻底改变了压缩空间图像合成，但其在高保真反问题中的应用仍然存在瓶颈。在本文中，我们将这种困境追溯到预训练自动编码器的基本几何限制，我们将其称为\emph{一阶流形盲性}。严重的解码器压缩（例如，仅保留原始自由度的 $\sim\!2\%$）会产生秩亏雅可比行列式，即使解码器可以表示目标图像，也会使正交补中的高频测量残差对潜在梯度不可见。为了克服这个瓶颈，我们提出了混合域后验采样（HDPS），这是一种解耦的推理框架，可以将物理测量一致性与语义先验建模分开。 HDPS 发散到像素空间，利用 Langevin 动力学吸收精确的正交测量梯度，然后将这些结构校正投影回生成流形。引入基于优化的潜在对齐来过滤像素空间伪影，同时避免直接编码的语义漂移。对各种反问题的大量实验表明，HDPS 建立了一种新的最先进技术，成功地恢复了仅潜在求解器固有地丢弃的高频结构精度。该代码位于 \href{https://github.com/74587887/HDPS}{https://github.com/74587887/HDPS}。