World2Mind：面向基础模型世界中心空间推理的认知工具包

摘要

实现稳健的空间推理仍是当前多模态基础模型（MFM）的根本挑战。现有方法要么借3D定位数据过拟合统计捷径，要么局限于2D视觉感知，同时限制了空间推理精度与未见场景泛化。受生物智能空间认知制图机制启发，我们提出免训练空间智能工具包World2Mind。其核心是利用3D重建与实例分割模型构建结构化空间认知图，使MFM能主动获取关于关注地标与路线的定向空间知识。为提供稳健的几何-拓扑先验，World2Mind合成世界中心空间树（AST），用椭圆参数精确建模地标俯视布局。为缓解3D重建的固有误差，我们引入三阶段推理链：工具调用评估、模态解耦线索收集与几何-语义交织推理。大量实验表明World2Mind使GPT-5.2等前沿模型性能提升5%~18%。令人惊讶的是，仅凭AST结构化文本，纯文本基础模型也能执行复杂3D空间推理，性能接近先进多模态模型。

World2Mind：面向基础模型世界中心空间推理的认知工具包：论文配图 — 图 1：通过提议的 World2Mind 工具包执行异中心空间推理的基础模型概述。给定以自我为中心的视频或多视图观察，该模型首先评估工具调用的必要性，然后将关键参数（例如感兴趣的实例）传递给 World2Mind 以驱动空间认知图的生成。 World2Mind 集成了用于 3D 重建和语义几何对齐的高效管道，通过有针对性的投影和渲染机制返回所需的结构化空间知识。此外，该模型基于原始视觉观察和 World2Mind 提供的几何线索进行几何语义交织推理，最终产生高度可靠的答案。