跨空间蒸馏：用现代扩散老师教一步学生

现代一步扩散模型通过基于分布的时间步长 蒸馏 实现了令人印象深刻的质量。然而，他们依赖于一个关键的假设：教师和学生必须居住在同一个潜在空间中。这种共享空间约束阻止知识从现代高容量教师（例如 SD 3.5 和 Flux）转移到紧凑的、易于部署的学生（例如 SD 1.5），其潜在分辨率和 VAE 参数化与教师不同。我们将这种被忽视的机制形式化为跨空间 蒸馏，其中教师和学生在潜在分辨率和 VAE 空间上都存在差异。为了在这种不匹配的情况下启用 蒸馏，我们引入了 Bridge，这是一个轻量级潜在接口，可将学生潜在用户映射到教师空间，而无需修改学生主干。 Bridge 将冻结的学生 VAE 解码器作为空间先验与紧凑的可学习投影仪相结合，并通过潜在重建和注意力保真度目标进行训练，以实现稳定的教师空间对齐。在不同的现代教师中，Bridge 为紧凑的一步式学生带来了巨大的收益；例如，它将 SD 1.5 从 5.4 HPSv3 改进为 9.4，同时保留一步推理、低延迟和广泛的生态系统兼容性。这些结果表明，异构大型教师可以通过轻量级潜在空间接口提炼成高效、可部署的骨干网。