共享几何：无需配对数据的跨模态表征对齐

多模态表示可以实现零样本分类和检索，但对齐独立训练的模型通常需要大量配对数据。然而，柏拉图表示假说表明，在不同模态上训练的模型可能会自发地收敛到共享的表示几何形状。但是，我们是否还需要配对示例来进行跨模式对齐？值得注意的是，我们表明配对示例对于粗略的跨模式对齐来说是不必要的。我们简单的 Wasserstein Procrustes 方法具有粗略的几何初始化，通过估计单个正交映射而不看到任何对，来对齐两个不相交的嵌入集。在数据集、模态和单模态模型中，我们表明我们可以一致地对齐独立训练的表示，而无需配对，并且标准几何对齐指标可以准确预测何时可以做到这一点。尽管如此，我们自然可以从配对的例子中受益。在很少对的情况下，我们的方法大大优于现有的方法，同时与基于更多示例的基于对的方法保持竞争力。最后，我们证明了所得到的对齐可以在没有配对示例的情况下实现文本到图像的生成。这些结果表明，独立训练的模型通常共享足够的几何结构，可以在很少或没有配对数据的情况下建立跨模式对应。