通过渐进种子修剪的扩散模型的推理时间缩放

扩散和流匹配模型在条件图像生成中占主导地位，但这些模型的推理时间缩放远不如自回归语言模型那么发达。由于最终质量对初始噪声种子高度敏感，因此许多方法在黑盒奖励下的种子搜索或重采样上花费了额外的计算，但通常在整个推理过程中保持恒定的内存占用。我们表明，放宽这一约束可以实现未充分探索的推理时间缩放轴：通过预先加载探索、尽早评估许多种子以及积极修剪，我们可以更有效地使用固定的计算预算。 \emph{渐进式种子修剪} (\PSP) 对中间去噪估计进行评分，并逐步缩小候选集，以便只有有希望的轨迹才能完全去噪，同时保持模型评估总数固定。在扩散和流匹配主干中，PSP 持续改进了奖励引导选择，并在匹配计算时实现了比 best-of-N$、重要性采样和树搜索基线更高的 GenEval 分数（自动）和更好的提示对齐人类评估。项目页面：https://www.vision.caltech.edu/psp。代码：https://github.com/rogerioagjr/psp。