模态差距是错误还是功能？稳健性视角

许多现代多模态模型（例如 CLIP）寻求一个使两种模态对齐的嵌入空间。有点令人惊讶的是，几乎所有现有模型都显示出很强的模态差距：在共享嵌入空间中图像的分布与文本的分布很好地分开。尽管最近有一系列关于这个主题的论文，但仍然不清楚为什么存在这种差距，也不清楚缩小后处理中的差距是否会导致下游任务的更好性能。在本文中，我们表明，在某些条件下，最小化对比损失会产生一种表示，其中两种模态由与其嵌入正交的全局间隙向量分开。我们还表明，在这些条件下，模态差距与鲁棒性单调相关：减少差距不会改变模型的干净精度，但会降低模型在嵌入受到扰动时改变其输出的可能性。我们的实验表明，对于许多现实世界的 VLM，我们可以通过一个简单的后处理步骤显着提高稳健性，将一种模态移向另一种模态的平均值，而不会损失任何干净的准确性。