PixSDS：为什么潜在 SDS 会产生噪声像素

Score 蒸馏 采样 (SDS) 通过事先预先训练的扩散来优化渲染图像，从而实现文本到 3D 生成，但潜在的 SDS 通常会产生结构化颜色伪影和高频纹理噪声。我们确定了由 VAE 引起的像素漂移引起的潜在 SDS 的故障模式：优化后的图像可以沿着受 VAE 编码器弱约束的像素空间方向移动，因此其潜在表示保持干净且具有语义意义，而图像本身会积累可见的伪影。我们通过受控 2D SDS 实验、仅 VAE 优化和简化分析来支持这一诊断，该分析表明，当到像素的逆映射受到约束时，类似编码器的潜在目标可以放大图像空间噪声。受这一观察的启发，我们提出了 PixSDS，一种轻量级的 VAE 一致梯度修复方法。 PixSDS 解码潜在的 SDS 前瞻步骤，并使用解码的图像作为像素空间优化的干净方向，减少 VAE 不一致方向上的运动，而无需重新训练扩散模型、更改渲染器或替换 SDS 目标。 2D 优化和文本到 3D 生成的实验表明，PixSDS 大大减少了结构化伪影，同时保留了语义内容。代码可在 https://sevashasla.github.io/pixsds-webpage/ 上公开获取。