Fenchel Tilting：生成模型高效微调的加权校正

将预训练的生成模型适应以效用函数表示的任意偏好，是奖励调整、引导设计和约束满足的基础，从而实现了多样化的应用。现有的微调方法在通用性与计算成本之间进行权衡：它们要么限制支持的偏好的族类以保持优化简单，要么以牺牲效率为代价来保留通用性。我们引入了 Fenchel Tilt Flow Control (FTFC)，它将效用优化与生成模型拟合分离开来。 FTFC 首先通过在预训练样本上联合拟合有效奖励和密度比权重来优化目标分布。该方法将效用的变分结构与 Fenchel 对偶性相结合，支持一般的 $f$ 发散惩罚，确定如何将奖励转化为分布校正权重。然后，这些权重被冻结并用于在重要性加权去噪或流量匹配的单个阶段中修改扩散或流量模型，而无需通过采样轨迹进行区分。我们在适当的条件下建立了凹效用的精确对偶性，并表明加权拟合可以重现给定效用的最佳目标分布。在图像和分子生成基准中，FTFC 在各种偏好函数的基础上进行了改进，同时效率提高了 20 倍。所提出的方法无需复杂的优化即可实现超出预期奖励最大化的适应，同时与基线相比，保持更一般类别的效用函数的鲁棒性。