论文
AlloSpatial:基础模型空间推理的智能体测试架框架
AlloSpatial: Agentic Harness Framework for Spatial Reasoning in Foundation Models
摘要
多模态基础模型(MFM)已经取得了实质性进展,但在物理世界的空间推理方面仍然脆弱。一个关键的瓶颈在于他们无法将局部的以自我为中心的观察转化为全局的以异己为中心的空间表征。为了解决这个问题,我们提出了 AlloSpatial,一种用于基础模型中异中心空间认知的代理框架。 AlloSpatial 推出了 World2Mind,这是一个即插即用的认知绘图沙箱,可将自我中心观察转换为结构化的异中心先验,包括支持查询对象拓扑、几何关系、通行性和轨迹的异中心空间树和路线图。为了在噪声重建和模糊视觉证据下可靠地利用这些先验,AlloSpatial 引入了空间推理工具,用于工具使用判断、模态解耦线索收集和几何语义仲裁。我们通过冷启动强化学习和Harness门控轨迹级奖励进一步将这一过程内化到 Qwen3-VL 中。 VSI-Bench 和 MindCube 上的实验表明,AlloSpatial 在免训练环境中将专有模型改进了 5%-18%,而即使在删除视觉输入的情况下,单独的 AST 也支持强大的空间推理。经过训练的 AlloSpatial 智能体进一步优于更大的通用模型和竞争性空间基线,这表明结构化的异中心表示、主动工具的使用和可验证的推理为实现具有空间能力的基础模型提供了一条有希望的途径。
