论文

从单个观察中优化图像重建中的扩散先验

Optimizing Diffusion Priors in Image Reconstruction from a Single Observation

应用与实践视觉感知与空间理解

摘要

虽然扩散先验在许多逆问题上生成高质量的后验样本,但它们通常是在有限的训练集或纯粹的模拟数据上进行训练,从而继承了这些潜在来源的错误和偏差。当前微调扩散模型的方法依赖于具有不同前向算子的大量观测值,这对于许多应用来说可能很难收集,从而在测量集较小时导致过度拟合。我们提出了一种方法,通过将现有的扩散先验组合成单个专家乘积先验,并识别最大化贝叶斯证据的指数,仅从单个观察中调整先验。我们在现实世界的逆问题上验证了我们的方法,包括黑洞成像(其中真实先验是先验未知的),以及使用文本条件先验进行图像去模糊。我们发现,证据通常通过先验来最大化,这些先验超出了在单个数据集上训练的先验。通过指数加权概括先验,我们的方法可以从调和和组合扩散模型中进行后验采样,从而产生更灵活的先验,从而提高所得后验图像分布的可信度。