论文

IB-Flow:用于少步文本到图像生成的信息瓶颈引导 CFG 蒸馏

IB-Flow: Information Bottleneck-Guided CFG Distillation for Few-Step Text-to-Image Generation

摘要

虽然大规模文本到图像生成模型已经实现了前所未有的视觉性能,但它们对多步迭代求解器的固有依赖会导致严重的推理延迟。针对无分类器引导(CFG)轨迹的少步 蒸馏 已成为流行的双维压缩范例。然而,现有的框架仍然受到粗粒度盲注入范式的影响,该范式永远强制执行全局静态指导强度,同时不加区别地对监督时间步进行采样。这种与状态无关的设计完全忽视了图像生成的本质,即图像生成是一种以渐进熵减少为特征的动态演化过程,这不仅限制了少步压缩的性能边界,而且还导致了严重的 CFG 过度调节伪影。为了超越这些限制,我们通过信息论的理论视角重新审视 蒸馏 过程,将其正式建模为受信息瓶颈 (IB) 原理约束的动态互信息博弈。具体来说,我们通过双轨自适应框架消除了传统的盲目假设。为了确定注入目标,我们提出了一种实例感知选择机制,将棘手的 KL 散度约束转化为基于局部向量场范数的零开销封闭式解决方案。为了调节注入强度,我们引入了一种熵感知计划,该计划随信噪比动态衰减,应用最大推力进行初始结构锚定,然后平滑地恢复到自然流形以细化微观细节。广泛的实证评估证实,我们的框架从根本上消除了过度调节伪影,打破了在极其严格的两步配置下实现 SOTA 生成保真度的性能上限。