论文
用于生成建模的三体散射
Three-Body Scattering for Generative Modeling
摘要
现代生成模型通常依赖于对抗性批评家、规定的噪声到数据路径或自回归分解。相反,我们证明适当的分布能量可以引起样本级运动,并为一步生成器提供直接回归监督。用于生成的三体散射建模 (TBSM) 将能量距离转化为恒定大小的每个射弹相互作用:每个射弹被一个真实源吸引,并被一个独立生成的源排斥。以射弹及其条件为条件,其期望等于 $\frac12D_E^2(P_θ,Q)$ 的 $2$-Wasserstein 梯度流速。一批 $B$ 冻结目标事件会产生 $O(B)$ 样本级损失,每个损失都使用一个参考作为其条件,而不是漂移模型等方法使用的小批量范围的全对字段。在线跟踪这个条件期望可以减少现场噪音。 TBSM 利用冻结图像特征中的散射,在 ImageNet-256 上训练单步生成器,在像素空间 PixelDiT-XL 下实现 FID${}=2.23$,在 NFE${}=1$ 下使用潜在空间 DiT-XL 实现 FID${}=1.63$。我们提供了一个与扩散相关的监督、类漂移动力学和类 GAN 目标相关的设计图。这些结果将跟踪散射确立为高维一步生成的一种途径。代码:https://github.com/sp12138/TBSM。