论文

从独立噪声观测学习干净生成过程以一致性补全低噪声区间

Learning Clean Generative Processes from Noisy Measurements

模型训练预训练

摘要

我们研究如何仅使用噪声观察来学习干净图像的生成模型。扩散过程及其对非高斯噪声的推广需要在每个噪声级别进行后验预测。我们首先表明,可以使用 Noise2Noise 回归从独立的噪声视图中学习这些预测,但只能达到或高于训练数据的噪声水平。为了学习生成干净图像所需的低于该水平的预测,我们强加一致性:在继续采样过程后,预测应等于其期望。我们推导出一致性可唯一确定如何向无噪图像分布延拓的条件,并在泊松、二项、Gamma 和负二项测量下验证这些条件。 CIFAR-10、光子计数显微镜和合成孔径雷达上的实验表明,所需的后验预测可以仅从噪声视图中学习,并且一致性关系修复了向数据噪声水平之外的延拓;若不施加一致性,这种延拓会严重恶化。

从独立噪声观测学习干净生成过程以一致性补全低噪声区间:论文配图
图2:从一帧实测显微图像得到的重建与样本。(a)输入:256×256像素中共5,020个光子。(b、c)N2N与GAP预测图像。(d)512帧参考图。(e)未使用一致性损失时,N2N续采样到参考曝光量。(f)GAP依据自身累积规则续采样,在每像素0.32个光子时停止。(g)用一致性损失训练后,N2N续采样到参考曝光量。(h)用一致性损失训练后抽取500次续采样,逐像素计算标准差除以均值,色标为0—0.66。(b)至(g)各面板均除以自身均值,并将数值截断于4。