CAIRN：利用拓扑感知大型多模态模型进行跨房间 3D 场景理解

现有的基于 3D 场景的 大语言模型 (3D-LLM) 侧重于回答基于简化的单房间 3D 场景的问题，缺乏对包含多个互连房间和不同对象类别的现实家庭环境进行推理的能力。我们介绍 CAIRN，一种用于多房间 3D 场景理解的拓扑感知 3D-LLM。 CAIRN 将 Transformer 注意力与场景层次结构保持一致，使模型能够明确了解对象级关系和房间级连接。它通过图神经网络用房间局部关系上下文丰富对象标记，引入学习的房间标记进行房间级抽象，并应用具有几何偏差的分层注意掩模根据场景拓扑路由信息。 CAIRN 是在 CAIRN-MR 基础上开发的，CAIRN-MR 是我们在 HM3D 上引入的用于多房间 3D 场景理解的基准，涵盖基础、字幕和四个问答任务，这些任务逐步评估从房间内感知到跨房间推理的能力。实验表明，CAIRN 在所有 CAIRN-MR 任务中均大幅优于之前的 3D-LLM，同时在五个单房间基准测试中保持竞争力。