探索性、交流性和可部署性：用于开放世界移动操作的视觉驱动实体代理

现实世界中实体化代理的部署需要积极探索、视觉定位和交互式意图消歧。然而，现有的框架通常依赖于特权模拟器状态或假设完整的指令，从而绕过了现实的部署挑战。为了弥补这一差距，我们提出了 REAL，一个用于开放世界移动操作的代理框架。 REAL 建立了模拟与真实一致的环境 API，无需预言机感知，并集成模拟用户以实现人机交互。在此环境中，我们设计了不同的任务组合来驱动数据收集、监督 微调 和在线强化学习，系统地优化代理性能。为了全面评估这种方法，我们引入了 REAL-Bench，这是一个涵盖 241 项任务的基准，涵盖主动探索、视觉干扰、铰接式操作和交互式消歧等任务。实验结果表明，我们训练有素的智能体在交互任务上的表现优于领先的商业闭源 VLM，成功率为 56.9%。进一步的实证分析表明，我们的分层训练管道成功地调整了模型的工具使用能力，同时在扩展的探索视野下保持强大的开放词汇推理。最后，我们在物理双臂移动机器人上部署和评估我们的框架，在 60 个真实场景中实现了 78.3% 的端到端成功率。这些物理试验证明了对未见过的家庭场景的强大的零镜头可转移性，验证了我们的模拟与真实一致的设计成功地弥合了长视距移动操作的现实差距。代码可在 https://github.com/InternRobotics/REAL 获取。