论文

STARFlow2:桥接语言模型和标准化流程以实现统一多模式生成

STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation

模型架构混合架构

摘要

深度生成模型在文本和视觉领域迅速发展,推动了统一的多模态系统能够理解、推理和生成交错的文本图像序列。大多数现有方法将自回归语言建模与基于扩散的图像生成器相结合,继承了因果文本生成和迭代视觉去噪之间的结构不匹配。我们观察到自回归归一化流是自回归 Transformer——与 LLM 共享相同的因果掩码、KV 缓存机制和从左到右的结构——使它们成为真正统一多模态生成的最自然范例。我们提出了 STARFlow2,它建立在 Pretzel 架构之上,通过残余跳跃连接将预训练的 VLM 流与 TarFlow 流垂直交错,两者都在相同的因果掩码下运行。结合深浅流设计和统一的 FAE 潜在空间,STARFlow2 可实现缓存友好的交错生成,其中文本和视觉输出直接进入 KV 缓存而无需重新编码。实验证明了在图像生成和多模态理解基准方面的强大性能,验证了自回归流作为统一多模态建模的可行基础。