MMCORE：具有表示对齐潜在嵌入的多模式连接

我们推出 MMCORE，一个专为多模式图像生成和编辑而设计的统一框架。 MMCORE 利用预先训练的视觉语言模型 (VLM) 通过可学习的查询标记来预测语义视觉嵌入，这些标记随后充当扩散模型的条件信号。这种简化的设计有效地将VLM丰富的理解和推理能力转移到视觉生成过程中。通过消除自回归和扩散模型之间的深度融合或从头开始训练的需要，MMCORE 显着减少了计算开销，同时保持高保真合成。 MMCORE 将文本到图像合成与交错图像生成无缝集成，在空间推理和视觉基础等复杂场景中展示了强大的多模态理解能力。综合评估表明，MMCORE 在广泛的文本到图像和单/多图像编辑基准测试中始终优于最先进的基准。