论文

SSD:空间 推测解码 加速自回归图像生成

SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation

模型推理投机采样

摘要

自回归图像模型将图像视为一维标记序列,继承了语言模型的下一个标记分解。这种扁平化丢弃了图像的一个有用属性:视觉标记在二维空间中组织和关联。我们引入了 Spatially 推测解码 (SSD),这是一种推理时间解码框架,利用这种空间结构来加速生成。 SSD 不是仅沿着展平序列进行推测,而是预测相邻的水平标记及其正下方的标记,从而允许多个空间方向并行前进。这减少了骨干前向评估的数量,并缓解了自回归解码的内存瓶颈。 SSD 将挂钟时间的图像生成速度提高了 11.03 倍,同时保持了 DPG-Bench 和 GenEval 上的生成质量。这些结果表明,空间结构为更快的自回归图像生成提供了简单有效的并行源。