Syn-Omni：全模态嵌入的结构化专业化和渐进式协作

全模态嵌入自然涉及跨异构输入的共享表示和特定于模态的特征。然而，现有的全模态嵌入方法通常依赖于混合模态数据上的单个共享参数空间，限制了通用表示和特定模态表示之间的结构分离。为了解决这个问题，我们提出了 Syn-Omni，这是一个用于结构化全模态适应的统一框架，具有模态专业化和受控的跨模态协作。具体来说，我们引入了正交模态专家 LoRA (OME-LoRA)，它将适应分解为用于通用语义的共享 LoRA 路径和用于模态感知专业化的模态专家 LoRA 路径。此外，渐进协同路由（PSR）使专家能够首先建立特定于模态的先验，然后逐渐与其他模态专家进行交互以实现跨模态协同。在涵盖图像、视频、音频和视听模式的 81 个不同任务中进行评估后，Syn-Omni 始终优于全模态基线，证明了结构化的有效性 专业化和跨模式渐进协作。