论文

CSD:内容感知 推测解码 用于高效图像生成

CSD: Content-aware Speculative Decoding for Efficient Image Generation

模型推理投机采样

摘要

推测解码 (SD) 已成为加速自回归模型推理的关键解决方案。然而,在图像生成领域,它面临着接受率低的挑战,直接放宽其标准会导致图像质量下降。在本文中,我们提出了一种新颖的内容感知 推测解码 算法,称为 CSD,它将基于熵的概率松弛机制与最佳重采样策略相结合,以提高自回归图像生成的推理效率。通过利用图像不同区域固有的信息不确定性,CSD动态调整候选标记的接受概率,提高低细节区域的接受率以加速生成。此外,引入分布对齐滤波器以确保输出分布与目标模型对齐,从而显着提高生成质量。在 Lumina-mGPT 和 Janus-Pro 上进行的实验证明了所提出的 CSD 的优越性。我们的源代码可在 https://github.com/aderfebr/CSD 获取。