通过概念激活向量控制视频世界模型中的因果物理

视频世界模型学习物理动力学的表示，但在推理时控制其物理期望仍然是一个悬而未决的问题。最近的可解释性工作确定了物理出现区 (PEZ)，这是 VideoMAE 中的一组中间 Transformer 层，其中物理合理性与其他视觉特征分开表示。然而，目前尚不清楚这种结构是否可以用来直接控制模型的物理推理。我们提出了物理引导，这是一种 无需训练 方法，该方法使用 PEZ 层线性探针的权重向量作为概念激活向量（CAV），并在推理过程中将其注入隐藏状态。这会改变模型的物理预期，而不会改变任何模型权重。在 IntPhys 基准上，这种干预可以根据转向标志，可靠地将模型的合理性判断向任一方向转移。仅当干预应用于物理出现区内时，该效果才会出现，这表明相关的物理表征位于此处。我们进一步发现物理与运动方向分开编码，并且不同的直观物理原理在该表示空间内占据不同的方向。总之，这些结果表明 VideoMAE 中的物理推理不仅可读，而且可直接操纵。