DSG：变化的室内环境中实体代理的动态 3D 场景图构建

在室内环境中，由于人类活动或具体代理交互，对象位置经常发生变化，导致先前构建的场景图与当前场景不一致。为了解决这个问题，我们提出了 DSG，一种动态 3D 场景图构建框架，可以检测对象变化并执行空间关系推理。首先，我们构建了一个语义感知的 3D 高斯场景表示，并开发了一种基于双视图渲染的对象变化检测方法，以实现可靠的场景图节点更新。其次，我们提出了一种结合多粒度视觉上下文的空间关系推理方法，使 大语言模型 能够识别更丰富的对象间空间关系。此外，我们还介绍了 DynTHOR，这是一个基于 AI2-THOR 仿真平台构建的动态室内场景图基准测试，用于评估动态环境中的场景图构建。在 Dyn-THOR、3RScan 和真实场景上的大量实验表明，DSG 在对象节点构建和空间关系推理方面始终优于现有方法，显着提高了动态场景图构建的准确性。