论文

Drift-AR:通过反对称漂移生成单步视觉自回归

Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting

模型推理推理加速

摘要

自回归 (AR)-扩散混合范例将 AR 的结构化语义建模与扩散的高保真合成相结合,但面临双重速度瓶颈:顺序 AR 阶段和扩散视觉解码阶段的迭代多步去噪。现有的方法都是孤立地解决每个问题,没有统一的原理设计。我们观察到,连续空间 AR 模型的每个位置 \emph{预测熵} 自然地编码了空间变化的生成不确定性,它同时控制 AR 阶段的草图预测质量,并反映了视觉解码阶段所需的纠正工作,这是之前未充分探索的。由于熵本质上与两个瓶颈相关,因此它可以作为联合加速的自然统一信号。在这项工作中,我们提出了 \textbf{Drift-AR},它利用熵信号来加速两个阶段:1)对于 AR 加速,我们引入了 Entropy-Informed 推测解码,它通过因果归一化熵损失来对齐草图目标熵分布,解决导致过度草稿拒绝的熵不匹配; 2)对于视觉解码器加速,我们将熵重新解释为反对称漂移场初始状态的\emph{物理方差}——高熵位置激活向数据流形的更强漂移,而低熵位置产生消失漂移——实现单步(1-NFE)解码,无需迭代去噪或蒸馏。此外,两个阶段共享相同的熵信号,该信号只需计算一次,无需额外成本。 MAR、TransDiff 和 NextStep-1 上的实验表明,使用真正的 1-NFE 解码可实现 3.8-5.5$\times$ 加速,匹配或超越原始质量。代码可在 https://github.com/aSleepyTree/Drift-AR 获取。