CoCoSI：空间智能的协作认知地图构建

空间智能是多模式 大语言模型 (MLLM) 的关键前沿，使它们能够从视觉体验中推理物理世界。受人类空间认知的启发，最近的方法从多帧视觉输入构建基于网格的认知地图，以随着时间的推移保持连贯的空间表示。然而，有限的上下文长度仍然挑战空间理解，而现有的方法，例如长上下文建模和外部记忆，通常需要架构更改、记忆模块或微调，限制了它们对现成的预训练 MLLM 的适用性。这激发了一种轻量级的、与模型无关的方法来保存超出本机上下文窗口的空间信息。为此，我们提出了一种即插即用的多智能体框架，该框架可以协作地将认知图构建为结构化空间记忆，从而增强对任意预训练 MLLM 的空间理解，而无需架构修改或额外训练。我们的框架具有本地-全局代理协调、具有原子提交的认知图构建以及跨代理验证。大量实验表明，我们的方法在空间理解任务上实现了卓越的性能，同时保持了完全的 无需训练。代码将被发布。