论文

RA-DGI用检索代理图像与双引导反演改进逆问题初始噪声

Retrieval-Augmented Initialization with Dual-Guided Inversion for Flow-Based Inverse Problem Solvers

模型推理上下文与知识推理策略与问题分解检索增强

摘要

流模型最近已成为解决逆问题的强大生成先验。尽管取得了成功,但大多数现有的基于流的逆问题求解器都使用随机高斯噪声来初始化重建过程。然而,最近的图像生成研究表明,初始噪声的选择可以显著影响生成结果。初始化作为基于流的逆问题求解中的独立设计选择的作用仍然相对未得到充分探索。在这项工作中,我们系统地评估噪声初始化策略,同时保持下游基于流的逆求解器固定。我们提出了双引导反演的检索增强初始化(RA-DGI),这是一种通过利用检索所得的代理无噪图像和双引导反演来构建改进的初始噪声的方法。跨多个逆问题的大量实验表明,初始噪声的质量会极大地影响重建保真度和感知性能。与推理阶段的计算扩展策略相比,RA-DGI 的性能优于标准随机初始化,并取得了优异的结果,同时需要更少的计算开销。这些发现强调初始化是基于流的逆问题求解器中一个关键但之前被忽视的因素。

RA-DGI用检索代理图像与双引导反演改进逆问题初始噪声:论文配图
图 2:RA-DGI 概述。 (a) 检索增强初始化。使用 phi⁡(⋅) 提取的语义特征从数据集中检索代理干净图像 x0* 并用作反演的起点。 (b) 双引导反演。测量指导(蓝色)强制测量一致性,而先验指导(红色)应用高斯正则化以鼓励与先验源的兼容性,共同细化潜在轨迹。