论文
用新颖的观点思考:生成增强空间智能的系统分析
Thinking with Novel Views: A Systematic Analysis of Generative-Augmented Spatial Intelligence
摘要
当前的大型多模态模型 (LMM) 很难完成需要依赖于视点的理解的空间推理任务,这很大程度上是因为它们仅限于单个静态观察。我们提出了用新颖观点思考(TwNV),这是一种将生成新颖观点合成集成到推理循环中的范式:Reasoner LMM 识别空间模糊性,指示 Painter 合成替代观点,并使用附加证据重新检查场景。通过系统实验,我们解决了三个研究问题。 (1) 指令格式:数字相机位姿规范比自由格式语言产生更可靠的视图控制。 (2)生成保真度:合成视图质量与下游空间精度紧密耦合。 (3) 推理时间视觉缩放:迭代多轮视图细化进一步提高性能,呼应了语言推理中最近的缩放趋势。在四个空间子任务类别和四个 LMM 架构(封闭和开源)中,TwNV 始终将准确性提高了 +1.3 到 +3.9 pp,其中视点敏感子任务的增益最大。这些结果将新视图生成确立为推进 LMM 空间智能的实用杠杆。