嘭！贝叶斯任意模型：生成计算成像的基础模型

生成模型正在改变贝叶斯计算成像，但该领域仍然缺乏物理感知的基础模型。目前的做法分为两个阵营。大型基础图像模型被部署为具有零样本近似似然指导的即插即用先验，这会引入显着的偏差和计算成本。物理感知生成模型避免了这种偏差，但每个模型都与特定的数据集、任务和工具相关。我们引入了 BAM（贝叶斯任意模型），这是一种轻量级基础模型，用于几步、物理感知的后采样，可以稳健地推广到未见过的数据和任务，零样本或最小的微调。 BAM 将操作员调节的重构任何模型 (RAM) 主干（Terris 等人）升级为条件流程图，因此仪器物理是在推理时指定的，而不是在训练期间固定的。 BAM 只有 36M 个参数，并且在大型图像语料库和前向算子库上联合预训练。然后，单个网络通过几个步骤绘制后验样本，没有似然近似，也没有需要调整的指导权重。在 FFHQ、AFHQ、LSUN、DIV2K 和 Kohler 相机抖动基准上的线性逆问题中，BAM 只需 3 个步骤即可在样本质量方面优于专用模型和领先的零样本方法，而计算成本仅为其一小部分。 BAM 为社区提供了生成计算成像的可访问切入点，降低了训练成像模型的经济和环境成本，并为物理感知贝叶斯计算成像的研究开辟了新路径。官方页面：https://bayesian-anything-model.github.io/