C3-UniMM：通过超对齐与共享解码空间实现因果循环一致的统一多模态建模

统一多模态模型旨在实现跨任意模态的任意理解和生成。然而，现有方法主要依赖于对隐式统计相关性进行建模，缺乏跨模态结构一致性约束。这种缺陷导致了深刻的问题，包括语义漂移、构图泛化不良以及干预下的不稳定。在本文中，我们提出了C3-UniMM，一种基于因果循环一致性和超级对齐的统一多模态建模框架。具体来说，我们引入了结构化潜在因果图（SLCG）作为共享的跨模态语义空间，并设计了统一的多模态编码块，使得理解和生成能够在相同的因果语义结构中协同优化。此外，我们提出了一个统一解码空间，以在跨模态生成过程中强制结构保留和语义可逆性。理论分析表明，我们的方法显着增强了跨模态映射的可逆性和机制不变性。跨多个理解、生成和组合泛化任务的广泛实验结果表明，C3-UniMM 大大优于现有的统一多模态基线。