超越单一对象：使用 大语言模型 学习 3D 关系

我们解决了 3D-LLM 中的一个根本差距：现有模型专注于单个对象/场景描述，难以进行详细的对象间比较。我们提出了一个跨多个对象进行详细对象级推理的框架，具有三个组件：（1）MO3D（3D 多对象），一个需要细粒度多对象比较的指令数据集； (2) Multi-3DLLM，使用最小的补丁交互 Transformer (PIT)，在保留局部几何形状的同时对对象间/对象内关系进行建模； (3) 迷你应用程序，两个应用程序驱动的基准（形状匹配、更改字幕），用于探索实际用途的几何理解。最近的 3D-LLM 和 2D-​​VLM 在这些任务上表现不佳，缺乏以比较为中心的设计和几何意识。相比之下，在我们的混合数据上训练的 Multi-3DLLM 可以学习几何推理，超越 MO3D 上的所有基线，并为单对象分类提供正迁移。