CARD：诊断视觉语言模型中动作路由失败的信念

线性探测和激活控制发现视觉语言模型（VLM）在内部代表心理状态，例如代理的信念、知识和意图。然而，尚不清楚这些表示是否以及如何被沿着这些轴的下游预测使用。为了弥补这一差距，我们引入了跨轴路由诊断（CARD），它沿着一个轴引导激活，同时测量不同轴预测的响应。应用于中继链上的开放权重 VLM（我们提出的一种新的协作网格世界基准）时，我们诊断出一个关键的路由故障：模型无法将信念表示纳入其下一个动作预测中，从而有效地留下了有关其合作伙伴的宝贵信息未使用。