迈向视觉逼真的仿真：评估仿真中机器人操作的基准

机器人操纵策略的可靠模拟评估可作为现实世界性能的高保真代理。尽管现有的基准测试涵盖了广泛的任务类别，但它们缺乏视觉真实感，导致模拟与现实之间存在巨大的领域差距。这破坏了基于模拟的评估在预测现实世界性能方面的可靠性。为了缩小模拟与真实视觉差距，我们进行了系统分析以隔离照明和材质的影响。我们的结果表明，这些因素在几何推理和空间基础中发挥着关键作用，但在现有基准中很大程度上被忽视了。在分析的推动下，我们提出了 VISER，这是一种用于评估模拟中机器人操作的视觉真实基准。 VISER 具有包含 1,000 多个具有基于物理的渲染 (PBR) 材质的 3D 资源的高保真数据集，以及通过策划的布局或生成从这些资源创建的 3D 场景。为此，我们提出了一种利用多模态 大语言模型 (MLLM) 进行材料感知零件分割和材料检索的自动化管道，从而能够可扩展地生成物理上合理的资产。基于高保真 3D 资产数据集，我们构建了多种评估任务，例如抓取、放置和长视野任务，从而实现了视觉-语言-动作 (VLA) 模型的可扩展且可重复的评估。我们的基准显示模拟与现实世界表现之间存在很强的相关性，不同政策的平均 Pearson 相关系数为 0.92。