MolmoSpaces-CommonSense：评测机器人操作策略的遮挡与物体常识

现实世界的机器人操作除了在这些场景中的底层动作执行之外，还需要对杂乱的场景、部分可观察或隐藏的对象以及语义上适当的动作进行推理。然而，现有的模拟基准主要测试后者，并且仍然以相对干净的环境为主，杂波有限，任务结构范围狭窄，使得许多形式的常识推理未经测试。我们通过引入基于发展认知科学的机器人操作推理过程分类来解决这个问题。我们通过机器人任务的新基准 MolmoSpaces-CommonSense 来操作这种分类法，它需要对遮挡、容纳、支撑关系、语义上正确的抓握点、空间可供性和隐藏对象进行推理。这些评估要求策略不仅要识别相关的场景结构，还要在其中执行正确的操作。我们评估了几种零样本通用操作策略。在各种模型类型和架构中，我们观察到常识推理中一致的失败：随着干扰因素的增加，杂乱场景中的成功率下降了 50% 以上，策略在杂乱环境中的错误对象上有 30% 的时间起作用，即使在高度具体的语言提示下，可供性敏感的抓取仍然不可靠，正确的对象部分选择仅发生在大约 50% 的时间。此外，基于 VLM 的成功评估很难可靠地评估这些环境中的rollout，这表明挑战超出了控制范围，扩展到更广泛的感知-推理-行动堆栈。我们的结果表明，现有基准可能大大高估了零样本现实世界的准备情况。代码和策略排行榜链接位于 https://github.com/allenai/molmospaces.