论文

RA-CFGCache:从分支级标准到无分类器指导下的引导式风险控制

RA-CFGCache: From Branch-Level Criteria to Guided-Risk Control under Classifier-Free Guidance

模型推理推理加速

摘要

扩散模型可以实现高质量的视觉生成,但迭代去噪的计算成本仍然很高,尤其是在无分类器指导(CFG)下,这需要条件和无条件评估。免训练缓存通过重用先前计算的特征或预测来降低这种成本。然而,现有的分支本地重用标准并未明确考虑缓存错误如何在 CFG 下组合或本地扰动如何影响最终输出。我们确定了缓存控制中的两种不匹配:分支引导不匹配,其中引导误差取决于分支错误的大小和对齐方式;以及本地最终不匹配,其中本地错误的下游影响随时间步长而变化。我们提出了 RA-CFGCache,这是 CFG 下的一个风险对齐缓存框架,它结合了这两个因素,同时保持采样计划和指导规则固定。 CFG 感知引导风险组合使用 CFG 系数和离线校准的跨分支对齐来组合现有的分支代理。传播感知重缩放通过根据孤立的重用扰动校准的时间步相关传播先验进一步对所得引导风险估计进行加权。然后,在线阈值控制器确定何时联合刷新或重用两个分支。 FLUX.1-dev、Wan2.1-T2V-1.3B 和 CogVideoX-2B 上的实验表明,相比所评估的免训练缓存基线,该方法改善了效率与保真度的取舍。此外,RA-CFGCache 与各种基本代理系列兼容,包括 TeaCache、DiCache 和 MagCache 式估计器,并在几乎不变的延迟下持续提高保真度。代码可在 https://github.com/yiming-l21/RA-CFGCache.git. 获取