论文

ReVeal:用于 VLA 政策评估的重建感知实模框架

ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation

模型评测评测方法与指标

摘要

基于模拟的评估为视觉-语言-行动 (VLA) 策略的现实评估提供了可扩展且可重复的替代方案。然而,重建错误可能导致模拟策略性能与现实世界性能存在偏差,从而需要评估重建环境以进行下游 VLA 策略评估。我们提出了 ReVeal,一个结合了工作空间重建、重建级别评估和匹配的闭环政策评估的真实到模拟评估框架。新颖视图网格保真度 (NVMF) 和带注释的平面几何保真度 (APGF) 分别评估观察和平面几何保真度。我们还开发了 PGSR-D,这是一种结合单目深度监督的重建管道,可改善多视图视觉线索有限的几何形状。在 8 个评估场景中,NVMF 和 APGF 一致区分 2DGS、PGSR 和 PGSR-D 的保真度。跨 8 个人形操作任务的 GR00T、SmolVLA 和 pi0.5 的匹配评估显示重建保真度和跨管道的真实模拟性能一致性之间的顺序一致。对评估工作空间的进一步分析表明,更高的保真度与更强的真实模拟一致性相关。