SPARGen：通过原生多模态生成统一空间感知和推理

通过视觉观察进行空间感知和推理需要恢复几何结构、建立对应关系并理解空间关系。现有方法通常使用特定于任务的架构或外部几何模块单独解决这些功能，从而限制了同一物理场景的互补表示之间的知识转移。我们引入了 SPARGen，这是一个统一的多模态框架，它将 3D 重建、密集对应和空间推理作为指令条件生成任务。 SPARGen 将紧凑的结构化和语言输出序列化为标记序列，同时以图像对齐的形式生成密集的几何场，从而使空间监督能够在本机多模态生成模型中共同塑造共享表示。跨 3D 重建、对应和空间推理基准的实验表明，SPARGen 在单个原生多模态生成框架内跨异构空间任务实现了有竞争力的性能。