连接重建和生成：评估和改进的潜在分布视角

在潜在生成模型中，重建质量通常被认为与生成性能相关。然而，重建 FID (rFID) 与生成 FID (gFID) 可能表现出弱相关甚至负相关。我们将这种差异归因于潜在分布不匹配：重建根据编码器引起的潜在特征评估解码器，而生成对生成模型产生的潜在特征使用相同的解码器。为了描述这种转变，我们引入了生成感知重建（GAR），它通过用噪声扰乱编码器潜伏并在解码前通过生成模型对其进行去噪，构建了从标准重建到生成的连续轨迹。 GAR 沿着这个轨迹探测解码器的行为，使得从编码器到生成时间潜在分布的转变是可观察和可诊断的。由此产生的基于轨迹的诊断 GAR-FID 在不同的标记器和尺度上表现出与 gFID 的强烈经验相关性。重要的是，中间 GAR 潜伏变得更加具有生成意识，同时保留与其源图像的对应关系，从而保留完全生成的潜伏所缺少的配对监督。这种对应关系使得解码器能够适应中间 GAR 潜伏，从而持续提高跨模型规模的生成质量。总体而言，潜在分布失配为评估和改进潜在生成模型提供了有用的视角。