模态链：从静态融合到 Omni-MLLM 中的动态编排

全模态 大语言模型 (Omni-MLLM) 旨在对统一模型中的不同感官流进行推理。然而，我们发现多模态推理不仅取决于感官证据，还取决于模态信息的组织方式。通过对不同推理场景的系统分析，我们表明不同的模态组织表现出不同的优势和局限性，并且没有单一的拓扑是普遍最优的。我们没有提出对 Omni-MLLM 精度进行通用改进，而是提出一个更狭隘的问题：这些拓扑引起的故障是否可以系统地识别和纠正？受此启发，我们提出了模态链（CoM），这是一个在推理过程中动态重组多模态拓扑并学习自适应组织策略的框架。跨五个基准、不同架构和模型规模的实验表明，CoM 通过 无需训练 规划和轻量级 Planner-SFT 可靠地恢复拓扑敏感的故障，同时保持完整基准的性能。