论文
VLA-Forget:具身基础模型的视觉-语言-动作遗忘
VLA-Forget: Vision-Language-Action Unlearning for Embodied Foundation Models
摘要
视觉-语言-动作(VLA)模型正在成为机器人操作的具身基础模型,但它们的部署带来了新的忘却挑战:在不降低感知、语言基础和动作控制的情况下消除不安全、虚假或隐私敏感的行为。在 OpenVLA 风格的策略中,行为是通过融合的视觉编码器、跨模式投影仪和预测标记化机器人动作的语言主干产生的,因此不需要的知识可以分布在感知、对齐和推理/动作层中,而不是局限于单个模块。因此,仅应用于视觉堆栈或仅应用于语言主干的部分遗忘通常是不够的,而为独立视觉或语言模型设计的传统遗忘基线可能会留下残余遗忘或在具体设置中造成不必要的效用损失。我们提出了 VLA-Forget,一种混合忘却框架,它将用于感知和跨模式特异性的比率感知选择性编辑与用于保留效用遗忘的层选择性推理/动作忘却相结合。 VLA-Forget 通过视觉编码器、投影仪和上部动作生成 Transformer 模块的分阶段更新,联合优化三个目标:有针对性的遗忘、感知保留和推理保留。在遗忘设定行为探测和保留任务评估中,相对于强遗忘基线,VLA-Forget 将遗忘效率提高了 10%,将感知特异性保留了 22%,将推理和任务成功率保留了 9%,并将量化后恢复率降低了 55%。