数据预热：用于高效扩散训练的复杂性感知课程

当随机初始化的网络缺乏视觉先验，遇到来自完整复杂性谱的梯度时，扩散训练的一个关键的低效率问题就会发生——其中大部分梯度缺乏解决的能力。我们提出了数据预热（Data Warmup），这是一种课程策略，可以在不修改模型或损失的情况下安排训练图像从简单到复杂。每张图像都通过语义感知的复杂性度量进行离线评分，该度量结合了前景优势（图像显着对象占据了多少）和前景典型性（显着内容与学习的视觉原型的匹配程度）。然后，温控采样器尽早优先考虑低复杂性图像，并进行退火以实现均匀采样。在具有 SiT 主干（S/2 至 XL/2）的 ImageNet 256x256 上，数据预热将 IS 提高了 6.11，将 FID 提高了 3.41，提前数万次迭代达到了基线质量。颠倒课程（首先暴露硬图像）会使性能降低到统一基线以下，这证实了从简单到复杂的排序本身就可以带来收益。该方法与 REPA 等正交加速器相结合，仅需约 10 分钟的一次性预处理，每次迭代开销为零。