CACFG：曲率感知的无分类器指导和最优控制

扩散模型通过学习逆转固定的损坏过程来生成样本，而无分类器指导 (CFG) 是根据所需的类或提示调节此过程的标准机制。 CFG 可以在不同的引导强度下应用，虽然较高的强度可以改善图像质量和条件对准，但过高的引导强度会降低图像质量和多样性。此外，CFG 违反了扩散采样动力学原理，并且尽管存在违规，但其为何仍能发挥作用的现有解释与基础理论存在分歧，或者没有扩展到实践中使用的确定性采样器。我们解决这两个问题。我们首先将 CFG 采样视为连续时间最优控制问题，将采样轨迹视为为最大化所需条件的概率而选择的一系列控制。求解所得的 Hamilton-Jacobi-Bellman 方程表明，当使用无约束控制集时，CFG 在特定路径成本下得到恢复。我们认为缺乏约束是 CFG 在高引导强度下失败的原因，因为它允许采样路径任意远离当前图像估计。为了解决这个问题，我们提出了曲率感知 CFG (CACFG)，它将控制集限制为由训练变分自动编码器时使用的高斯正则化通知的超球面。我们表明，CFG 采样产生的控制输入通常会违反此界限，并且在扩散模型、数据集和指导计划中，CACFG 在中高指导强度下实现了卓越的生成质量，并且比常规 CFG 的质量多样性权衡不那么严重。