用于快速自回归图像生成的并行雅可比解码

自回归（AR）模型在生成高保真图像方面表现出了卓越的性能。然而，它们固有的顺序下一个词元预测会导致推理速度显着变慢。最近的研究引入了雅可比式解码来加速自回归图像的生成。扩展草图序列最初可以提高效率，但由于一维序列中的错误传播阻碍收敛，加速度很快就会饱和。观察到图像表现出很强的局部空间相关性，我们提出了并行雅可比解码（PJD），这是一种 无需训练 解码方法，可在二维空间域中扩展草图标记，以实现高效的空间并行细化。 PJD 调整注意力掩模以减轻误差积累并提高收敛稳定性。对不同数据集的大量实验表明，PJD 在多个自回归图像生成模型中实现了 4.8x-6.4x 的加速，同时保持有竞争力的生成质量。