论文
体现的可解释性:将因果理解与视觉-语言-动作模型中的泛化联系起来
Embodied Interpretability: Linking Causal Understanding to Generalization in Vision-Language-Action Models
摘要
视觉-语言-行动(VLA)策略经常在分布转移的情况下失败,这表明决策可能取决于虚假的视觉相关性,而不是与任务相关的原因。我们将视觉动作归因制定为干预估计问题。因此,我们引入了介入显着性评分(ISS),一种用于估计视觉区域对动作预测的因果影响的介入掩蔽程序,以及扰动质量比(NMR),一种对与任务无关的特征归因的标量度量。我们分析了 ISS 的统计特性,并表明它允许无偏估计,并且我们描述了行动预测误差为因果影响提供有效代理的条件。跨不同操作任务的实验表明,NMR 可以预测泛化行为,并且 ISS 可以比现有的可解释性方法产生更忠实的解释。这些结果表明,干预归因为识别具体政策中的因果失调提供了一种简单的诊断方法。