PRM-as-a-Judge 1.5：机器人过程评估工具包

细粒度的机器人评估对于理解具身模型很重要，超越了二元成功率和基于规则的过程分数。我们推出了 PRM-as-a-Judge 1.5，这是一个用于机器人流程评估的工具包，可将机器人执行轨迹视频转化为密集的进度曲线并得出多个精细指标。 PRM-as-a-Judge 1.5 在 1.0 版本的基础上引入了三个指标，描述失败方的进度、回撤后恢复和成功方的执行质量，帮助用户了解具体的模型能力。根据基准测试的执行轨迹视频，我们对具身模型进行了全面评估，提供了一些细粒度的指标结果和关键发现。我们进一步引入RoboPulse++来评估过程奖励模型（PRM）的可靠性，为评估者提供更准确的测试平台。此外，我们发布了一个用户友好的评估套件，包括基准、指标实施和可视化工具，以支持可重复的操作过程评估。我们呼吁社区重新思考如何评估机器人，并建立透明的、程序性的、可重复的评估，作为下一代具身智能的基础。