黄金路径假设：扩散缓存中的可重用调度

扩散缓存通过在选定的去噪步骤中用缓存或预测的特征替换Transformer计算来加速生成。我们引入黄金路径假设（GPH）：在固定的推理条件下，与提示无关的缓存调度可以实现与跨提示的最佳提示特定调度相当的最终输出质量。我们研究了十种缓存方法、四种图像和视频模型以及三种缓存比率的 GPH。提示自适应方法重复选择少量调度，并且在新提示上重用使用频率最高的调度与特定于提示的选择的质量非常匹配。对四个示例的 140 万个调度的详尽评估进一步确定了独立于提示的调度，这些调度在未见过的提示上仍然具有竞争力。为了解释这种转移，我们分析了去噪轨迹和缓存错误的累积。潜状态轨迹在数据集和种子中表现出相似的结构，而精确的误差分解表明，早期误差的累积效应比局部逼近误差更好地预测最终的潜状态误差。这促使我们使用最终输出质量来搜索端到端的调度。只需一小组示例，生成的黄金路径就可以跨提示和数据集迁移，并且可以调整到所需的质量目标，包括重建保真度或感知相似性。