潜在规划能在点云中生存吗？用于几何观测的动作条件 JEPA 世界模型

JEPA 世界模型使潜在空间规划成为一种实用的控制路线，但它们几乎完全建立在图像上。潜在预测是否能够在几何观测中幸存尚不清楚：点云稀疏、无序且自遮挡，并且随着 0.3-15% 的场景点移动，潜在预测的慢特征最优与 3D 自监督的几何捷径相结合。我们将三种规范的 JEPA 设计提升到点云、冻结编码器、分布先验和动作敏感，并重新感知稳定世界模型基准，以便只有观察结果与图像基线不同。所有三个计划都没有崩溃：分布先验模型在统计上相当于每个基准上重新评估的图像对应物，并且动作敏感模型在我们的受控比较中获得了最强的结果，其中几何体移动最多。探测解释了原因：物体位置几乎可以完全线性解码，注意力集中在少数移动点上。尽管范围噪声击败了最稀疏的场景，但规划可以承受训练中从未见过的严重丢失。几何最终使命令的 3D 目标成为自然的目标界面：我们从目标和当前潜在目标构建潜在目标，不以成功率为代价，无需目标观察。