理解异构多模态大模型融合中的知识迁移：一种简单线性方法

无需训练的异构多模态大模型融合为跨尺度能力迁移提供了直接路径，但总体性能提升不能说明较小模型究竟继承了哪些能力。现有研究多使用有限任务集合或汇总指标，因此不同能力是否能够跨尺度迁移仍不清楚。论文提出跨尺度定向参数注入 CDPI，作为分析异构融合中知识迁移的简单线性探针。局部理论分析表明，一阶迁移的选择性取决于不同能力对共享注入方向的响应，而二阶曲率限制有效迁移范围。在四组 Qwen3-VL 模型对与十二项多模态基准上，实验显示一致的选择性：收益集中在推理，尤其高层推理，感知表现则接近原目标模型。组件消融显示高层推理收益主要来自语言模型；比例分析表明正向选择性迁移主要发生在较小注入比例下。研究将跨尺度异构融合解释为狭窄、低干扰范围内的选择性语言侧推理迁移，而非广泛继承所有能力。