SM4RT：学习结构化运动几何以进行 4D 重建

几何基础模型 (GFM) 具有相当先进的单目 3D 重建能力，但将这种能力扩展到 4D 动态理解仍然是一个基本挑战。大多数现有的运动感知方法（例如稀疏跟踪、密集的逐点流）将运动视为独立的逐点位移，忽略了物理运动的结构化本质。然而，现实世界的物体通常遵循刚体运动学，因此点通常集体移动，而不是孤立的。运动本身具有几何结构：物理对象经历一组由 SE(3) 控制的刚体变换，而不是非结构化的逐点位移。基于这一见解，我们提出了 SM4RT，一种用于端到端 3D 重建和结构化运动感知的结构化运动 4D 重建 Transformer。 SM4RT 引入了运动结构来表示场景动态，其中场景运动被分解为一组紧凑的运动基础，每个运动基础表示为 SE(3) 中 6D 扭曲的时间序列。然后，通过这些基础上稀疏的、分时的每像素分配权重来恢复密集的场景运动，确保同一对象上的点共享公共的刚体运动轨迹。 SM4RT 引入了并行运动几何编码器和解码器，可在单目 RGB 视频的单次前向传递中联合推断 3D 几何、世界坐标运动和场景运动结构。 SM4RT 实现了强大的运动重建性能，同时保留了场景运动的几何结构。