神经体素动力学：通过体积特征平流学习隐式 3D 物理

我们提出了一个自监督框架，用于直接从视频衍生的监督信号中学习隐式 3D 物理动力学。虽然当前的生成视频模型实现了高视觉保真度，但它们缺乏 3D 几何基础，通常会导致物理不一致并无法保持对象的持久性。我们通过将预测瓶颈从 2D 图像空间转移到“提升的”3D 体积潜在空间来解决这个问题。我们的方法将视频联合嵌入预测架构（V-JEPA）中的语义特征投影到体素化网格中，以单目深度先验为基础。这种提升使得体积特征平流能够学习动作条件转移算子，该算子将物理视为时空状态平流问题，即学习隐式 3D 物理。与依赖显式经典模拟器进行训练和/或推理的最先进的混合模型不同，我们的架构在高维 V-JEPA 特征中隐式跟踪材料状态。这允许在单个统一管道内紧急模拟异质现象（例如流体流动中的刚体运动）。我们的模型仅通过端到端视频衍生信号加动作条件进行监督，无需访问物理引擎内部状态、标签或代理模型，在多个基准（CLEVERER、PhysInOne、PhysGaia）上表现出良好的长期结构稳定性和物理合理性。我们相信这项工作为通用动态世界模型开辟了一条可扩展的途径，该模型仅通过单眼视频的被动观察来内化物理世界的 3D 不变量。