通过去噪轨迹的全局调度来利用扩散模型的推理时间计算

扩散模型通过遍历去噪轨迹来生成样本，这是一系列随机降噪步骤，可将纯噪声转换为目标分布的抽取结果。在部署时，额外的计算可以提高样本质量，而无需重新训练：在每一步，采样器都会抽取多个候选噪声样本，使用称为验证器的质量标准对结果预测进行评分，并以每个候选者进行一次网络评估为代价保留最佳候选者。这就提出了一个资源分配问题：给定功能评估的固定预算，搜索工作应如何在去噪轨迹的步骤中分配？我们将其表述为计算预算分配问题。首先，我们表明，对于步长大小的领先顺序，在一步中评估 $K$ 候选者的预期收益分解为内生的、特定于步骤的敏感度参数乘以通用样本大小因子，等于 $K$ 标准正常抽签的预期最佳值。其次，对于固定的灵敏度分布，最优分配求解具有注水结构的可分离凹整数规划；在固定的总灵敏度下，它相对于统一分配的优势随着主要化顺序中的灵敏度分散而增加。第三，我们证明，当不同实例的敏感性不同时，没有任何自适应策略可以避免最坏情况下的遗憾，这种遗憾会在轨迹长度上线性增长，这激发了一种设计，将分配离线锚定并在线适应，仅恢复特定于实例的冗余。我们将分析从独立随机搜索扩展到更广泛的本地搜索运算符系列，并将其实例化为可实现的算法。对三个扩散采样器系列的实验表明，所提出的分配达到了统一基准的质量，并且功能评估减少了 20% 到 50%。