将 3D 建模与空间推理分开

在这项工作中，我们通过明确地将 3D 感知与推理分开来探索空间推理的替代范式，而不是通过大规模训练联合获取隐式 3D 感知和推理。我们的主要观察结果是，现代感知模型擅长估计连续 3D 几何形状，而 大语言模型 (LLM) 在组合和符号推理方面特别有效。受这些互补优势的推动，我们提出了解缠结空间推理器 (DiSR)，这是一个简单而有效的框架，它使用现成的专家感知模型将物理世界重建为结构化 3D 证据，并使用 LoRA 微调 LLM，以仅对这些明确的几何证据进行推理。无需大规模 3D VQA 训练或复杂的工具使用策略，DiSR 在流行的空间推理基准上即可实现具有竞争力的性能。除了强大的性能之外，DiSR 还提供了改进的可解释性、模块化和计算效率，证明感知和推理的显式分离是空间智能端到端建模的可扩展且有效的替代范例。