关于扩散模型中时间步嵌入的冗余

扩散模型严重依赖显式时间步嵌入来调节各种噪声尺度的去噪过程。在这项工作中，我们通过分析这些时间信号对 U-Net 和 Diffusion Transformer 架构的影响来挑战这些时间信号的必要性。除了经验证据之外，我们还提供了一个理论框架，证明在某些条件下，无需明确的时间步长条件即可实现扩散训练目标的全局最小化。我们的研究结果表明，当时间步嵌入被完全删除时，其鲁棒性令人惊讶。对 CelebA 和 CIFAR-10 数据集的广泛消融研究表明，这些与时间无关的模型可以保持高结构保真度，甚至在竞争指标（包括 FID、精度和召回率）方面超越条件模型。我们的分析表明，这些架构可以在特定假设下从损坏的输入隐式推断噪声尺度，从而使显式时间条件变得多余。这项研究挑战了长期存在的时间条件范式，并为更高效、更注重结构的生成架构铺平了道路。