LiFT：环流变压器

我们引入了循环流变压器 (LiFT)，这是一系列循环生成模型，通过重复应用共享扩散变压器 (DiT) 核心来扩展计算，只需对标准架构进行少量更改。 LiFT 不是询问每个循环步骤以获得最终预测，而是使用单个回归目标来训练每个步骤：从模型的初始估计到流匹配目标的直线路径上的点。因为我们通过连续的深度坐标对这些目标进行索引，所以经过训练的模型可以循环远远超出其训练深度，而无需重新训练、提前退出或其他修改。在我们的实验中，这些较长的执行轨迹改进了生成，因此推理计算可以在不添加参数的情况下增长。在 256x256 的 ImageNet 上，LiFT-L/2 的 FID 比我们的密集 DiT-XL/2 基线低 3.34 个点，同时使用的参数减少了大约 60%，训练 FLOP 减少了 32%，推理 FLOP 减少了 52%。