论文
Reasmory:3D 重建作为 VLM 空间推理的显式内存
Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning
摘要
视觉语言模型 (VLM) 展现出新兴的空间推理能力,但它们对于需要精确空间理解的任务(例如视点推理、方向比较和距离估计)仍然不可靠。在多视图图像和单目视频中,相关的空间线索通常是稀疏的并且分布在冗余的观察中,使得它们难以组织和利用。基于重建的视觉基础模型 (VFM) 提供了一种将此类观察结果聚合到显式空间记忆(例如点云)中的自然方法。然而,简单地将重建模型暴露为自由形式工具是很脆弱的,VLM 可能会错误地调用工具、跳过所需的空间变换或滥用中间结果。我们提出 \textbf{Reasmory},一个将空间推理表述为重构空间内存上的结构化程序执行的框架。 Reasmory 构造显式 3D 内存,使用基于语义的 3D 对象实例对其进行增强,并引入轻量级特定领域语言 (DSL),该语言限制 VLM 在推理过程中查询对象和相机、转换视点以及呈现观察结果的方式。生成的程序在执行前经过解析和验证,与不受限制的工具使用相比,能够与空间内存进行更可靠的交互。多视图图像和视频空间推理基准的实验显示,与包括 GPT-5-mini 和 Gemini-3-flash 在内的强基线相比,持续获得 6--18\% 的增益,这表明显式 3D 内存在通过受约束的、经过验证的操作而不是自由形式的工具调用访问时最有用。