CASCADE：用于推测图像解码的上下文感知松弛

自回归生成是高保真图像合成的一种强大方法，但即使在最先进的加速器上，它的计算要求仍然很高并且速度很慢。虽然 推测解码 已经被探索来缓解这一瓶颈，但现有方法无法实现与文本生成中观察到的效率提升相当的效率提升。一个关键的限制是目标模型在图像生成过程中的高度不确定性，这导致草稿词元拒绝率很高。在这项工作中，我们识别了目标模型行为中先前被忽视的模式，这些模式在基于树的 推测解码 中自然出现。具体来说，我们形式化了目标模型隐藏状态表示中的冗余所产生的两个属性，即语义互换性和收敛性。通过捕获预测词元树的深度和广度上的这些冗余，我们的方法确定了接受放松的原则机会，而无需额外的训练。此外，我们通过将目标模型的冗余信号注入到绘图员训练中，只需进行最小的修改，即可增强独立绘图员的性能。我们跨多个文本到图像模型和绘图器架构评估我们的方法。结果表明，CASCADE 为基于绘图器的 推测解码 实现了最先进的加速，加速高达 3.6 倍，同时保持图像质量和文本提示保真度。