通过几何对齐恢复文本到图像 蒸馏 中的初始噪声敏感度

生成式 蒸馏 通过将多步轨迹压缩为少步学生模型，同时保持感知质量，显着加速文本到图像 (T2I) 的生成。然而，现有方法主要优化效率和输出保真度，通常忽略原始轨迹的关键属性。在这项工作中，我们确定了一个关键的缺失属性：对初始噪声的敏感性，其退化会损害依赖于基于噪声的优化和操纵的下游控制方法。我们将此问题追溯到标准 蒸馏 目标，该目标强制执行逐点输出对齐，无意中使输入输出景观变平并抑制教师的局部几何结构。为了解决这个问题，我们提出了 Geometry-Aware 蒸馏 (GAD)，这是一种保持敏感性的框架，可以协调教师和学生模型的局部功能行为。具体来说，GAD 将雅可比矢量乘积与输入噪声相匹配，使学生能够重现教师对扰动的微分响应。跨多个 T2I 范式和噪声驱动控制任务的大量实验表明，GAD 可以显着恢复灵敏度并提高多样性，同时保持高视觉保真度。代码可在 https://github.com/Hannah1102/GAD 获取。