Agentic RSR：从场景重建到真实机器人执行的闭环

真实机器人工作空间的模拟必须保留与任务相关的交互，而其中制定的策略必须根据真实机器人可用的观察结果进行操作。然而场景重建和策略制定往往被分开对待。我们提出了 Agentic Real-to-Sim-to-Real (Agentic RSR)，这是一个通过相同的操作任务将场景重建、策略开发和真实机器人执行联系起来的框架。给定工作空间视频、任务描述和已知的机器人模型，Agent恢复公制尺度，使用视觉反馈迭代地细化场景，并检查 MuJoCo 中与任务相关的交互。然后，编码Agent开发可执行策略，从特权对象姿势发展到视觉观察和随机模拟。该策略可以在一次调用中交错多个观察和操作，而Agent则使用执行反馈来继续、重试或修改其方法。共享的任务级界面将策略和积累的经验传递给真实的机器人，其中新的观察结果和安全性 检查指导执行。在涉及两个机器人的 18 个重建场景中，相对于参考深度估计的平均四视图深度 MAE 为 0.1057 m，平均 Lab $ΔE_{76}$ 为 11.04，平均灰度 SSIM 为 0.6990。在真实机器人实验中，总任务成功率达到模拟任务成功率的80%，表明硬件上模拟性能得到了大幅保留。代码和重建的场景数据将公开。