LeRF：学习视角推理的参考坐标系

视角采择是空间智能的基本组成部分，要求模型从特定的角度（例如另一个实体或想象的观察者的角度）解释空间关系。尽管视觉语言模型 (VLM) 的空间推理能力不断增强，但它们仍然难以采用视角，当查询需要从不同角度进行推理时，通常会默认使用相机视点。我们引入了视角采择参考坐标系学习 (LeRF)，这是一个训练 VLM 构建和使用显式参考系进行视点相关推理的框架。给定图像和查询，LeRF 决定是否需要坐标系。如果是这样，它将参考实体grounding并预测框架的原点和以实体为中心的参考系。轻量级渲染器将坐标系叠加到图像上，从而无需外部感知模型或显式 3D 重建即可对这些视觉线索进行后续推理。为了学习这个过程，我们首先进行监督微调来教授选择性工具调用和参考坐标系预测，然后对空间 VQA 对进行强化学习以改进框架引导推理。在不同的视角基准测试中，LeRF 不断改进其主干，并相对于现有的开源方法实现了强大的性能。进一步的评估还显示了改进的参考系基础和方向估计，支持学习参考系对于视点相关推理的有效性。