论文
不对称流动模型
Asymmetric Flow Models
摘要
高维空间中基于流的生成很困难,因为即使数据具有很强的低秩结构,速度预测也需要对高维噪声进行建模。我们提出了非对称流建模(AsymFlow),一种秩不对称速度参数化,它将噪声预测限制在低秩子空间,同时保持数据预测全维。根据这种不对称预测,AsymFlow 可以分析地恢复全维速度,而无需更改网络架构或训练/采样程序。在 ImageNet 256$\times$256 上,AsymFlow 实现了领先的 1.57 FID,大幅优于之前的类似 DiT/JiT 的像素扩散模型。 AsymFlow 还提供了第一个将预训练的潜在流模型微调为像素空间模型的途径:将低秩像素子空间与潜在空间对齐可以提供无缝初始化,从而保留潜在模型的高级语义和结构,因此微调主要改善低级不匹配,而不是重新学习像素生成。我们证明,从 FLUX.2 klein 9B 微调的像素 AsymFlow 模型为像素空间文本到图像生成建立了新的技术水平,击败了其基于 HPSv3、DPG-Bench 和 GenEval 的潜在基础,同时定性地显示了视觉真实感的大幅提高。