论文

通过训练动态动作进行一步生成模型

One-Step Generative Modeling via Training Dynamics Action

模型训练预训练

摘要

一步生成模型通过迭代训练时间传输构建静态生成器。现有的传输目标主要评估分布运动,尽管神经生成器需要通过共享参数更新来共同实现所请求的样本位移。训练时构造提出了问题:当训练成为构建最终单步映射的迭代过程时,应优化下一次分布变化,还是有限生成器学习最终映射的路径? 为了解决这个问题,我们引入了 Training Dynamics Action (TDAction),它根据本地共享参数实现成本选择传输目标,同时保留规定的分配进度水平。我们将成本表述为软终端控制问题,并得出封闭形式的批量切线动作执行值,该值考虑了参数工作量和终端不匹配。该标准捕获了被独立成对成本忽略的跨样本交互作用;在各向同性迁移率下,该准则与确定性平衡耦合的二次欧几里得分配一致。随机切线探针提供了一种低秩实现,可以构建共享的分离目标,而无需添加推理时间轨迹。对照研究检查了发电机几何形状、运输选择和实现的局部作用之间的关系。在 ImageNet $256\times256$ 上,TDAction 无需蒸馏即可获得低于 $1.1$ 的 FID。