论文
光谱引导扩散:通过静态光谱层调度加速推理
Spectral-Guided Diffusion: Accelerating Inference via Static Spectral Layer Scheduling
摘要
扩散推理重复评估同一个大型网络。我们询问仅预训练权重是否可以识别不需要在整个轨迹中重新计算的剩余分支。我们的\textbf{光谱集中比(SCR)}测量领先与尾部奇异值能量。与弗罗贝尼乌斯震级相结合,它可以产生离线灵敏度代理和每个预定单元的确定性寿命。冻结单元重用其缓存的残余分支更新,同时当前残余流和所有外部条件继续传播。该方法不需要路由器、校准提示或依赖于输入的搜索。在匹配的层步预算下,SCR/Frobenius 比 LLaDA-8B、DiT-XL/2、U-ViT-L 和 SDXL 上的随机、深度、范数、稳定秩和 Frobenius 稳定秩调度更好地保持质量。更广泛的 LLaDA 测试涵盖检索、推理、编码、总结和开放式生成;匹配水平控件将排名保留为十个降噪步骤。完整的捕获图系统通过热切推理达到了 $2.8\times$--$3.0\times$ 挂钟加速。这是一个系统级数字:在 LLaDA 上,填充图执行已经给出了 $2.7\times$,而消除不活动的分支工作则将其提高到 $3.0\times$。扰动分析在明确的局部假设下激发预规范注意力和 MLP 组件; AdaLN、U 形、卷积和交叉注意力块上的结果是经验转移,而不是经过认证的保证。