ROSA：机器人工厂的机器人基础模型服务系统

机器人基础模型 (RFM) 使通用机器人在工厂部署中变得越来越实用。虽然 RFM 服务系统是这一愿景的核心，但现有系统很大程度上是由单机器人、单模型假设形成的：推理被视为由机器人或附近专用 GPU 处理的边缘计算问题，服务目标是最大限度地减少单个动作模型的延迟。在本文中，我们提出了 ROSA，这是一种围绕三个关键原则设计的机器人工厂 RFM 服务系统。首先，ROSA 采用共享 GPU 池服务，允许机器人车队通过网络访问强大的服务器级 GPU，以提高推理性能、电池持续时间和 GPU 利用率。其次，ROSA 提供了机器人感知编程抽象和系统设计，支持多模型管道、每任务性能要求和故障处理。第三，ROSA 使用工厂目标驱动的调度来最大化 SLO 合格的工厂生产力，而不是最小化单个请求延迟。我们在 Ray Serve 之上实现 ROSA 以进行分布式编排，使用 vLLM、PyTorch 和 JAX 作为模型服务后端，并在真实机器人和合成大规模工作负载上对其进行评估。结果表明，与传统的专用服务系统相比，ROSA 将工厂生产力提高了 12.06 倍。