Search-to-World：通过 Web 搜索评估用户请求的 3D 世界交付

代理系统可以解释用户请求、搜索实时网络并使用外部工具，但它们将检索到的网络内容转换为可用的 3D 世界的能力尚未得到系统评估。此功能不存在已建立的端到端管道或基准。我们引入了 Search-to-World，这是一项端到端评估任务，涵盖请求理解、网络视觉内容检索和 3D 世界交付。我们定义观察检索率（ORR）和世界交付率（WDR）来区分观察相关内容和成功交付与请求一致的、感知上可接受的世界。我们还展示了 WorldSearcher，这是一种先重用再重建的工具，它将现有的搜索代理与世界交付连接起来：它首先检索可重用的 3D 世界，当没有可用的 3D 世界时，从视频重建世界。结构化恢复控制器可修改视频时序定位、替换源视频或在失败后重新制定查询。使用 WorldSearcher，我们对 Search-to-World 的代表性模型进行基准测试，并研究恢复子代理的监督 微调 (SFT)。结果表明，交付取决于底层代理模型，并且相关内容观察并不能确保三维世界交付。联合训练恢复智能体可以提高交付成功率和行动效率。 Search-to-World 使代理 3D 世界交付可测量，而 WorldSearcher 提供具有恢复功能的实用评估工具。