成功就是你所需要的吗？研究输入扰动对桌面操作任务中 VLA 行为的影响

视觉-语言-动作（VLA）模型在机器人操作任务基准上取得了很高的任务成功率。最近，人们开始重视评估 VLA 模型对扰动的鲁棒性。然而，这种鲁棒性仍然主要通过任务成功率（TSR）来衡量。在这项工作中，我们提出了一个与基准无关的评估框架，通过描述扰动下成功轨迹的执行情况来衡量模型的行为鲁棒性。我们通过扩展广泛使用的 LIBERO 和 LIBERO-Plus 基准来实施这种方法。通过三个最先进的 VLA 模型、四个 LIBERO 任务套件和七个扰动条件，我们评估了典型成功行为及其变异性的变化，包括运动平滑度、效率和夹具行为的指标。我们发现扰动可以改变成功轨迹的行为，这种现象不一定能仅从 TSR 推断出来。在 LIBERO 套件中，我们发现了最先进的 VLA 模型在相同扰动条件下实现可比 TSR 的情况，但成功轨迹上的行为却存在很大差异。因此，为了对任务表现进行更稳健的评估，我们认为适当的鲁棒性度量不仅应该捕获任务是否完成，还应该捕获机器人在完成任务时的行为方式。在评估 VLA 模型的鲁棒性时，TSR 可以通过行为评估指标来补充，这些指标表征机器人成功执行任务的性质和可变性。