追踪与协调多模态模型融合中的跨层影响

多模态模型融合旨在将任务专家整合到单个模型中，保留其互补能力。大多数单模态模型融合方法在单个层内合并专家更新，多模态方法也大多沿用此设计。然而，专家更新会改变传递至后续层的表示，其影响可沿深度传播，进而影响视觉与文本信息的交互方式。当视觉与语言更新结合时，后续更新作用于已被前期更新修改的输入，导致二者效应耦合。这带来两个挑战：（1）如何刻画单个专家更新在深度维度上的多模态影响；（2）如何基于多模态影响联合融合专家更新。为解决这些问题，我们提出TAC-Merge，用于追踪和协调多模态模型融合中的跨层影响。其包含两个模块，即多模态影响映射（MIM）和耦合融合控制（CMC）。MIM构建更新效应的图结构，并结合里奇曲率与专家预测定义共享融合目标。CMC建模系数调整间的相互作用，并联合优化区域权重以合成一个共享模型。在多样化的多模态任务实验中，TAC-Merge在整合互补专家能力及泛化到未见任务方面表现出有效性。