DynTrace：跟踪 MLLM 中 4D 时空推理的动态对象证据

4D 时空推理，联合建模 3D 空间结构和时间演化，对于理解动态世界和实现具体交互至关重要。虽然当前的多模态 大语言模型 (MLLM) 在静态场景理解和粗粒度 4D 任务方面表现出强大的能力，但它们在连续动态场景感知方面仍然存在明显的局限性，特别是在跟踪动态对象证据以进行连贯的 4D 时空推理方面。这一缺点主要源于依赖于稀疏的帧级观察、连续动态线索的碎片化以及模型无法将真实的物体动力学与相机引起的视运动分开。受到人类跟踪动态线索同时补偿视点变化的启发，我们提出了 DynTrace，这是一个 无需训练 框架，用于具有两个互补组件的 4D 时空推理。动态轨迹可视化 (DTV) 将世界坐标轨迹重新投影到图像平面上，提供几何信息的视觉先验，将真实的物体动力学与相机引起的视运动分开。同时，动态跟踪词元（DT-Token）组织成动态跟踪图（DTG），跟踪对象级动态线索、跟踪演变和关键时刻，为连贯的 4D 推理维护连续的动态对象证据。这两个组件共同为 MLLM 配备了连续跟踪的动态对象证据，这些证据基于几何信息的视觉先验和结构化的时空轨迹。 DynTrace 不断改进开源 MLLM，在 Dyn-Bench、VLM4D 和 DSI-Bench 上取得了最先进的结果，验证了跟踪动态对象证据对于稳健的 4D 时空推理的重要性。