位移几何捕捉跨模型和模式的柏拉图式共享现实

柏拉图表示假说 (PRH) 声称独立训练的模型收敛于共享的现实统计模型，但最近的工作发现模型之间仅存在微弱的逐点相似性。在本文中，我们表明模型共享的不是样本在表示空间中的位置，而是它们之间的方向（位移向量）。在单一正交对齐（仅旋转和反射）下，这些位移向量在跨越模态和不对称能力对的 44 个独立训练的视觉和语言编码器中得到了充分保留，这与 PRH 的证据一致。样本的绝对位置与最近的反证据不一致。两者都源于单一分解：表示分为跨模型线性对齐的共享语义组件和非线性对齐的私有功能组件。我们将这种几何图形追溯到概念级结构：在模型中，父概念与其子变异向量正交；跨模型，概念位移是平行的。我们的理论错误地预测（并且实验证实）微调保留了逐点相似性，但破坏了位移，而关系蒸馏则相反。主要含义是，由于语义是线性对齐的，但功能不是线性对齐的，因此可以使用通过源的单个缓存前向传递将功能从一个模型导入到另一个模型。我们称之为影子投射。作为概念证明，我们的 SHADOWCLIP 实例化在计算数量级上优于强大的微调基线。缓存可以与开放模型权重一起释放，从而可以下载一个模型的功能并将其导入到任意数量的其他模型中，而无需进行微调。