论文

先前方向:将视觉修正中的几何识别与行为功效分开

Prior Directions: Separating Geometric Identification from Behavioral Efficacy in Visual Revision

模型评测模型行为与机制分析

摘要

即使当前的视觉证据支持不同的答案,视觉语言模型仍然可以锚定于陈旧的语言先验。我们使用这种受控修订失败来询问最能捕获反复出现的先验引起的表示变化的子空间是否也具有独特的更有效的行为。在四个模型中,成对的先验状态和参考状态定义了先验方向,这是一种紧凑的低秩几何结构,在第 32 级时,仅跨越状态维度的 0.78%,但捕获了 49.7% 至 64.0% 的保留位移能量。匹配的对应关系提高了所有四个模型中每个测试等级的保留捕获;在 20 个排列种子中,这种优势在所有 15 种可用的模型和排名组合中仍然是积极的。然而,几何优势并不能转化为可比的干预优势:匹配和配对排列编辑分别恢复 60/66 和 59/66 干净的先前引起的故障。我们将这种差异追溯到已实现编辑的几何形状。配对排列编辑与匹配的先前方向保持强烈一致;它们的对齐组件恢复了 59/66 的情况,而同样范数匹配的正交残差仅恢复了 20/66。这些结果表明,最好地识别经常性表示变化的构造不需要在行为上更加有效,将全局子空间识别与干预实际使用的几何图形区分开来。