论文
Kairos:物理人工智能的可扩展服务系统
Kairos: A Scalable Serving System for Physical AI
摘要
物理人工智能正在经历快速增长,前沿基础模型增强了其在一般环境中的能力。物理人工智能任务的特点是推理属性与数字人工智能明显不同。它们由多轮推理和动作执行组成,在每轮推理中生成一大块动作,并异步交错推理和执行。这使得现有的数字人工智能服务系统不适合物理人工智能;考虑到它们的规模和它们必须服务的机器人车队的规模,这一缺点对于它们的广泛采用至关重要。为了填补这一空白,我们设计了 Kairos,这是第一个多机器人服务系统,它使生成-执行循环成为一等公民,并积极参与执行阶段。在各种物理 AI 模型和机器人中,Kairos 与最先进的数字 AI 服务实践相比,平均端到端任务延迟降低了 31.8--66.5%,并且收益随着机器人队列规模的扩大而扩大。