论文

更快:奖励引导图像编辑中用于端点细化的快速伴随随机传输

FASTER: Fast Adjoint Stochastic Transport for Endpoint Refinement in Reward-Guided Image Editing

模型推理推理加速

摘要

测试时的奖励引导图像编辑旨在提高指定奖励,同时保留源内容和视觉合理性。许多现有方法通过预训练的生成过程来优化候选者,从而使重复调整依赖于昂贵的大型模型执行,并且在某些情况下还依赖于骨干模型反向传播。我们开发了一个理论框架,共同考虑奖励、源保存和预训练先验偏好,允许将所需的输出分布与用于实现它的动态分开指定。基于这个框架,我们引入了 FASTER,它为每个源和目标训练一个小型网络以执行廉价的编辑,而预训练和奖励模型则提供有关候选输出的反馈。通过在多个小型网络更新中重用每个候选者及其反馈,FASTER 减少了重复采样和监督查询,而无需将预训练的生成骨干模型放置在内部优化循环中。在 SD3 上,FASTER 在评估的方法中领先于所有四个目标指标和几个验证指标。与沿预训练生成轨迹优化控制的评估基线相比,FASTER 在 Stable Diffusion 3 上实现了高达 \({6.91\times}\) 的编辑时间加速,在 Stable Diffusion 1.5 上实现了 \({24.14\times}\) 的编辑时间加速。

更快:奖励引导图像编辑中用于端点细化的快速伴随随机传输的原论文方法或结果图
图 2:FASTER 训练和编辑管道。 (a) 每次 $K$ 刷新都会缓存一个端点及其独立的保存、优先和奖励目标,以用于 $M$ 控制器更新。 (b) 在训练之后,新的控制器执行轨迹被解码为编辑后的图像。