SpatiO：用于空间推理的视觉语言代理的自适应测试时间编排

理解视觉场景不仅需要识别物体，还需要推理它们的空间关系。与一般视觉语言任务不同，空间推理需要集成多种归纳偏差，例如 2D 外观线索、深度信号和几何约束，其可靠性因上下文而异。这表明有效的空间推理需要空间适应性：根据输入灵活协调不同推理策略的能力。然而，大多数现有方法依赖于隐式学习固定空间先验的单一推理管道，限制了它们在分布变化下的适应能力。多智能体系统通过聚合不同的推理轨迹提供了一种有前途的替代方案，但先前的空间推理尝试主要采用同质智能体，限制了它们可以利用的归纳偏差的多样性。在这项工作中，我们介绍了 SpatiO，这是一种用于空间推理的异构多智能体框架，它可以协调具有互补归纳偏差的多个视觉语言专家。为了实现有效的协作，我们提出了测试时编排（TTO），这是一种校准机制，可以根据推理过程中观察到的可靠性动态评估和重新加权代理，而无需修改模型参数。对各种空间推理基准（包括 3DSRBench、STVQA-7k、CV-Bench 和 Omni3D-Bench）的大量实验表明，SpatiO 相对于闭源和开源基准持续提高了空间推理性能。该项目页面位于 https://cy-h1329.github.io/spatio/。