改善 VLA 评估的模拟与真实相关性的实用方法

仿真已成为评估和改进视觉语言动作 (VLA) 策略的重要工具，为昂贵的现实世界机器人评估提供可扩展、可重复和可控的替代方案。最近的模拟基准在现实性和多样性方面取得了实质性进展，但这些平台尚未被广泛采用作为现实世界政策评估的可靠代理。在这项工作中，我们通过模拟与真实相关性的角度来研究这个问题。我们对多个模拟平台、VLA 策略、任务和扰动因素进行了系统研究，衡量模拟评估是否在策略排名一致性、性能相关性和扰动失效模式方面保留了现实世界的结论。这种分析使我们能够描述现有模拟器的局限性，并确定哪些类型的模拟信号更符合现实世界的部署。我们进一步研究用户应如何利用模拟来改进策略，包括基于模拟器的微调何时有益以及 后训练 数据量如何影响模拟与真实的对齐。总体而言，我们的工作提供了一个统一的框架，用于测量、解释和提高模拟对 VLA 政策的有用性，为模拟器设计者和使用模拟作为政策制定流程一部分的从业者提供指导。