使用空间变换器控制推理空间中人工智能代理的集合

大型语言模型 (LLM) 引入了一种令人兴奋的机器人规划和导航新范式，但随着团队规模的扩大，即使是简单的多机器人任务也会失败。我们提出了 COMPASS，一种可扩展的、分散的多机器人架构，用于通过推理空间反馈控制来控制大量代理机器人。反馈是由空间转换器在每个机器人本地生成的，该空间转换器将整个车队的多跳消息聚合成学习的反馈词元。我们的实验发现，语言模型的集合展示了输入命令的结构化多样性带来的性能提升，这可以消除偏差；跨规模的优势。与集中式前沿大语言模型政策和仅语言沟通消融相比，我们发现 COMPASS 的耦合设计决定性地产生了有凝聚力的集群编队，可以准确地实现所指挥的意图。我们证明，推理反馈在与紧凑的学习标记组成时效果最佳。我们的消融表明，语言通道中出现的原始状态的手工设计反馈会消除凝聚力。 COMPASS 将零射击推广到含义不明确的看不见的指令，同时指挥高达其训练规模 16 倍的集群，在自然语言命令下飞行多达 1024 个机器人。