学习扩散模型的端到端指导计划

扩散模型是跨多媒体和科学应用程序使用的强大生成范例。引导扩散方法通过在推理过程中添加可微损失的梯度（引导函数）作为漂移项来对生成提出要求。这种漂移的权重（指导尺度）对于数据质量和需求满足之间的权衡至关重要。为了实现这两个目标，引导扩散必须采用小引导尺度和长时间采样，从而产生高昂的计算成本。这项工作提出了学习的端到端指导计划（LEEGS），以通过更少的采样步骤实现这些目标。 LEEGS 通过使用随机梯度下降在一小组示例上最小化指导函数来训练依赖于时间的计划。通过引导采样进行反向传播的计算成本很高，因此 LEEGS 使用梯度近似值，可将训练时间缩短 4 倍。我们在不同的引导任务上评估 LEEGS，包括 (a) 图像修复、(b) 噪声图像逆问题、(c) 人脸 ID 引导生成以及 (d) 正向和逆偏微分方程问题，在同等预算（50 或 100 NFE）下优于基线，或仅用 10% 匹配恒定指导步骤。