论文

SOUL:选择性策略遗忘减少VLA状态幻觉

Sparse Feature Policy Unlearning Mitigates State Hallucination in Vision-Language-Action Models

模型训练模型评测应用与实践模型编辑与遗忘模型行为与机制分析机器人

摘要

视觉-语言-动作(VLA)模型通过利用预训练视觉语言模型的丰富表示,在机器人操作方面表现出了很强的泛化性。然而,它们在现实环境中的部署仍然受到反复出现的不可靠行为的限制。在这项工作中,我们研究了状态幻觉,这是一种反复出现的故障模式,其中 VLA 继续发挥作用,就好像已经实现了未实现的机器人对象状态一样。我们的分析发现,状态幻觉与对任务相关视觉区域的注意力减弱同时发生,并且通过稀疏自动编码器的机制解释表明,当这些故障发生时,与幻觉相关的稀疏特征被激活。基于此分析,我们提出了SOUL(稀疏特征策略不学习),它选择性地忘记与状态幻觉行为相关的策略知识,其中从幻觉失败和成功行为中识别出的稀疏特征分别作为显式遗忘和保留目标。在模拟和现实环境中跨 VLA 架构进行的实验表明,我们的方法大大减少了幻觉故障并提高了任务成功率,而不会显着损害现有的操作能力。这些结果表明,可解释的特征分析为有选择地修改机器人策略中不需要的知识提供了实用基础。

SOUL:选择性策略遗忘减少VLA状态幻觉:论文原图
(b) 状态幻觉的稀疏特征策略遗忘概述