OptiSight：连接语义推理和几何控制以实现实体导航

自主室内导航需要语义理解和精确的几何控制。我们提出了 OptiSight，这是一种混合框架，通过有限状态思想链架构将视觉语言模型推理与确定性视觉伺服相结合。 Grounded-SAM 定位开放词汇目标，而相机投影几何将视觉观察结果转换为导航命令，而无需密集映射。仅在关键决策点查询 VLM，从而减少计算开销，同时几何控制处理连续导航。 AI Habitat 中的实验展示了跨不同室内场景的可靠零镜头导航，包括避障和语义模糊，同时在 8 GB VRAM 预算内运行。源代码位于 https://github.com/avanalperen/OptiSight-Python-Multimodal-CoT-for-Visual-Reasoning。