Calibri：通过参数高效校准增强扩散 Transformer

在本文中，我们揭示了 Diffusion Transformer (DiTs) 显着增强生成任务的隐藏潜力。通过对去噪过程的深入分析，我们证明引入单个学习缩放参数可以显着提高 DiT 块的性能。基于这一见解，我们提出了 Calibri，这是一种参数有效的方法，可以优化校准 DiT 组件以提高生成质量。 Calibri 将 DiT 校准视为黑盒奖励优化问题，可以使用进化算法有效解决该问题，并且仅修改约 100 个参数。实验结果表明，尽管采用轻量级设计，Calibri 仍能持续提高各种文本到图像模型的性能。值得注意的是，Calibri 还减少了图像生成所需的推理步骤，同时保持高质量的输出。