EBench：通用移动操作策略的基本诊断

我们推出了 EBench，这是一个模拟基准，可以诊断超出单一成功率标量的通用移动操纵策略。 EBench 包含 26 个多样化且具有挑战性的操作任务，按照 5 个功能维度和 4 个泛化维度进行注释。我们评估了最先进的通用操纵模型，包括 $π_0$、$π_{0.5}$、XVLA 和 InternVLA-A1，并揭示了这些模型表现出截然不同的能力概况：$π_{0.5}$ 实现了最高的测试成功率、最佳的训练-测试保留和最强的移动操纵性能； $π_0$ 在灵巧的固定基座和高精度任务上处于领先地位； XVLA 和 InternVLA-A1 在原子技能和操作制度方面表现出互补的优势。除了能力分析之外，EBench还从4个有代表性的角度分析泛化能力，识别不同分布转移因素的影响。结果揭示了总体得分背后模型的优势和劣势。我们希望这个基准能够提供广泛的诊断信号来指导通才操纵模型的迭代。