更多的方式总是有帮助吗？缺失模态鲁棒性的几何视角

缺失模态仍然是多模态学习中长期存在的挑战。现有方法通常通过模态恢复或自适应策略来解决这个问题。然而，他们忽略了模型在多模态训练期间形成的内部跨模态依赖关系，这随后会损害稳健性。我们系统地描述了一种违反直觉的部署时故障模式：当推理时缺少一种模态时，在全模态上训练的模型可能表现不佳单模态模型。这种模式出现在不同的架构中，例如融合模型、CLIP 式两塔模型和视觉语言模型。我们表明，这种退化与主要参数子空间中学习的跨模式依赖性密切相关。多模态训练引起这些子空间的结构化旋转，特别是在跨模态交互层中。这些轮换与任务对齐余量的减少和模态缺失输入下更大的任务感知表示损害相关。我们提出了测地线遗忘 (GU)，这是一种轻量级的参数编辑方法，利用格拉斯曼子空间几何进行结构化子空间校正，以提高缺失模态的鲁棒性。它将主输入子空间沿着测地线路径旋转到单峰参考。我们证明，这种校正可以在固定的子空间距离预算内最小化到参考的距离。跨架构和数据集的实验表明，GU 提高了缺失模态推理下的性能，同时保持了全模态准确性，优于强大的缺失模态鲁棒性基线。这些发现支持部署时缺失模态退化的几何视图，并建议局部子空间编辑作为鲁棒性校正的实用途径。