论文
几何形状起作用吗?双曲视觉语言模型层次结构的操作点审核
Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models
摘要
双曲视觉语言模型旨在以几何方式对抽象进行编码:原点附近的一般概念、较远的特定概念以及表示有向顺序的蕴涵锥体。我们询问经过训练的 MERU、HyCoCLIP 和 PHyCLIP 模型是否实际使用这些机制。我们审核了七个已发布的检查点,并使用从头开始匹配的干预措施,使用区分主动双曲几何与角度结构和监督效应的诊断方法。所有经过审计的收敛检查点在无量纲半径 $u=\sqrt{c}ρ$ 中保持接近欧几里德,它测量嵌入经历双曲几何的强度:最大观察到的图像侧值为 $0.37$ - 远低于 $u\approx0.84$,其中局部度量失真达到 $10\%$。释放曲率下限会改变曲率和规范,但不会改变这种状态,混合的、通常适度的下游变化。经过训练的蕴含锥体是饱和的或接近饱和的,因此低违规率可能来自于微宽的锥体而不是学习的顺序。预先注册的语义遍历检测到弱的分支内顺序,但没有有效的完整层次结构读出。洗牌控制测试在已发布的检查点中没有检测到配对特定的径向排序,并且所有三个匹配的 ViT-B 种子之间没有一致的阳性结果。我们将其追溯到低曲率捷径:降低曲率可以加宽蕴涵锥并在无需学习顺序的情况下抑制违规。在探测的轨迹中,梯度分解将蕴涵识别为塌陷期间主要的曲率降低压力。然而,即使移除蕴涵,曲率也会收缩,因此捷径并不是唯一的原因。根据我们的诊断,审核的配方并未表现出有效的径向或基于锥体的层次结构。我们将审计提炼成五数几何报告,用于评估未来的层次结构声明。