PhotoQuilt：无需训练 通过 Bootstrapped Tiled Denoising 实现任意分辨率照片马赛克

照片马赛克是大图像，其局部区域被视为独立的图块，而它们的整体排列形成连贯的场景。以高分辨率生成它们，并且每个图块本身都令人信服，这在计算上是昂贵的，因为画布必须同时容纳许多详细的图块。我们推出了 PhotoQuilt，这是一个 无需训练 框架，可以生成任意分辨率的照片马赛克。扩散模型很难同时满足两个尺度，因为直接生成高分辨率的成本很高，并且倾向于生成平滑的图像而不是马赛克，而基于补丁的平铺保留了局部细节，但丢失了全局结构。 PhotoQuilt 通过引导平铺去噪程序解决了这个问题。我们首先以低分辨率生成全局合成来修复布局，然后在潜在空间中对其进行放大并重新注入噪声以恢复生成能力。去噪在固定图块内进行，因此每个图块都形成自己的图像，而共享的全局结构将它们保持在一个布局中。由于图块生成是单独处理的，因此 PhotoQuilt 可以扩展到大型画布，而无需二次注意力计算成本。实验表明，PhotoQuilt 在全局结构和局部真实性方面均优于当前基线。