HoloAgent-0：具有 3D 空间内存的统一实体代理框架

LLM 代理遵循数字环境中的实际执行循环：它们对结构化状态进行推理、调用工具、检查反馈并修改操作。将这个循环扩展到物理机器人是很困难的，因为物理执行是连续的、依赖于实施例的、不确定的并且受到安全性的约束。现有的嵌入式人工智能系统具有先进的操纵、空间理解、导航和人形控制功能，但这些功能通常仍然是专门的模块或松散耦合的决策循环。在这项工作中，我们介绍了 HoloAgent-0，一个用于现实世界机器人部署的统一体现代理框架。 Embodied AgentOS 将语言指令转换为可执行的技能图，调度机器人资源，监控执行情况，并根据运行时反馈触发澄清或重新规划。 HoloAgent-0通过三个耦合层组织异构机器人模型和控制器：用于闭环执行的Embodied AgentOS、用于物理世界定位的3D空间记忆以及用于机器人动作的具身技能。我们在真实硬件上部署 HoloAgent-0，并评估其空间记忆、长视野导航以及运动生成、对象搜索、跨机器人协调和移动操纵的闭环执行。