论文

VLA-FAIL:针对微调视觉-语言-动作模型的高效任务失败检测

VLA-FAIL: Efficient Task Failure Detection for Finetuned Vision-Language-Action Models

智能体系统Agent 动作执行与治理

摘要

视觉-语言-动作模型(VLA)在许多机器人操作任务中实现了最先进的性能,但它们在分布外场景中仍然可能表现出不可预测的情况。因此,运行时故障检测对于 VLA 的实际安全部署至关重要。然而,现有的任务故障检测器需要计算成本高昂的动作采样,基于限制其对 VLA 适用性的架构假设,或者需要访问失败执行轨迹。我们提出了 VLA-FAIL,这是一种轻量级且广泛适用的 VLA 故障检测框架,它结合了两种新颖的故障检测器,开销最小,不需要故障数据。第一个、最后一层马哈拉诺比斯距离 (LLMD) 通过测量最后一层特征相对于训练数据的标记偏差来检测分布外状态。第二种是动作块一致性(ACC),利用后退水平控制引起的时间重叠,并在连续动作块变得不一致时检测故障。为了权衡检测精度和检测延迟之间的关系,我们引入了 AUCCPDT,这是一种与阈值无关的指标,可以联合评估精度、召回率和检测时间。通过广泛的现实世界和模拟实验,我们证明 LLMD 和 ACC 捕获互补的故障模式,它们的组合可以在不同的任务中实现可靠和早期的故障检测,通常优于更昂贵的基线方法。