SimuGuard审计模拟器接触伪影对机器人基准成功率的影响

模拟基准根据成功率对机器人策略进行评分，每个失败回合都计入策略的失败。其中许多失败都是模拟器的错误，而不是策略的错误；我们找到原因并解决它。在模拟中测试视觉语言动作模型和世界动作模型，我们发现该策略经常放置对象，然后模拟器将其弹出，并且基准测试自己的脚本演示也会以同样的方式失败。我们推出 SimuGuard，这是一个适用于 LIBERO、RoboTwin、RoboCasa 和 RoboDojo 的审核插件。它使评估保持不变。在每个物理步骤中，它都会记录状态并标记在接触时突然开始运动、且速度超出机器人接触作用或重力所能解释范围的物体。它会逐比特精确回放已记录的回合，并在更改一个模拟参数的情况下重新运行该回合。有了它，我们将 RoboTwin 上的这些事件追溯到物理引擎的碰撞检测：对于相距一到两厘米的几何体，引擎报告约两厘米的穿透，解算器以每秒几米的速度将物体抛出。原因是一个常数：距离算法会丢弃低于固定面积阈值的三角形，而厘米尺度下的有效三角形面积也会低于这一阈值。仅修改这一常数、其他条件不变时，出现仿真伪象的回合从每 100 回合中的 12 个降至零，并且 5 个容器任务的成功率从 89% 上升到 98%。因此，模拟的成功率会计算模拟器导致的失败。 PhysX 5.3.1 或更早版本的基准测试应在修复后的引擎中重新运行。在引擎无法更改的情况下，他们应该报告成功率以及把所有被标记回合分别按失败或成功处理时得到的范围：例如 LingBot-VA 报告成功率为 83.1%，对应范围为 75.8%—98.5%。