4DGS-WAM：通过基于 4D 高斯泼溅的以对象为中心的世界行动模型连接过去和未来

当前的世界行动模型 (WAM) 通常在 2D 视觉数据上运行。这些模型可以实现卓越的视觉质量，但它们缺乏单个对象的明确空间结构，并且重复处理冗余的背景内容。尽管点云可以表示 3D 空间中的世界，但它们可能很难跨视点对齐和累积。在本文中，我们利用显式 4D 高斯泼溅 (4DGS) 表示来分别对场景的动态对象和静态背景进行建模。对于动态对象，我们使用策略模型来预测未来的参与者行为，并使用世界模型来预测观察到的高斯图的变换。不需要为未来状态重新生成静态背景，因为其中大部分已经在过去的帧中观察到。这形成了一个以对象为中心的世界动作模型，我们将其命名为 4DGS-WAM。它将 2D 观察结果提升为持久的 4D 表示形式，以便在未来的预测过程中可以重用之前观察到的静态内容。然后，未来状态外推可以专注于对动态对象的演化进行建模。 KITTI-MOT 的实验评估短时域预测和过去的重建。