关于跨模态表示的谱几何：多模态对齐的功能图诊断

我们使用计算几何的功能映射框架来研究独立预训练视觉（DINOv2）和语言（all-MiniLM-L6-v2）编码器之间的跨模态对齐，该框架将表示流形之间的对应关系表示为图拉普拉斯特征库之间的紧凑线性算子。虽然该框架在所有监督预算的跨模态检索方面表现不佳，但它揭示了多模态表示的结构特性。我们发现两个编码器的拉普拉斯特征值谱在数量上相似（归一化谱距离 0.043），这表明独立训练的模型开发了具有相当内在复杂性的流形。然而，函数图表现出接近零的对角优势（平均值低于 0.05）和较大的正交性误差（70.15），表明特征向量基实际上未对齐。我们将这种光谱复杂性解耦称为方向差距：模型收敛于它们捕获的结构数量，而不是它们组织结构的方式。该间隙定义了光谱对准方法的边界条件，并激发了三个诊断量：对角优势、正交性偏差和用于表征跨模式表示兼容性的拉普拉斯交换性误差。