论文

具有自适应调度优化的信息论无分类器指导

Information-Theoretic Classifier-Free Guidance with Adaptive Schedule Optimization

模型推理解码与生成控制

摘要

扩散模型在图像、文本到图像和视频生成方面取得了强大的性能,其中条件生成通常由无分类器指导(CFG)控制。 CFG 通过增加指导权重来提高条件一致性,但更强的指导通常会降低多样性和分布覆盖范围。目前尚不清楚如何在反向轨迹上控制这种一致性覆盖率权衡,因为 CFG 引起的分布不仅仅是引导分数字段给出的固定时间倾斜分布。为了解决这个问题,我们提出了一个用于 CFG 调度优化的信息论框架。我们的方法使用干净的端点参考来指定所需的一致性覆盖权衡,同时优化引导采样器针对该参考引起的实际分布。我们推导出轨迹级公式来从样本和分数评估中估计目标,避免显式密度估计。在具有 EDM-XXL 的 ImageNet-512 和具有 SD-XL 的 COCO 上,学习的调度在恒定指导上实现了竞争性或改进的权衡,并在噪声水平上有选择地分配指导。