潜在世界模型能知道什么？多模态预测表示中的物理信息

潜在世界模型的一个中心前提是，预测未来会鼓励表征将其环境的物理特性内化。我们询问在学习的潜在状态中可以访问哪些物理量，这如何取决于训练，以及这些物理量与模型的预测有何关系。我们展示了 PokeWorld，这是一个模拟环境，其中机器人手指推动物体，这些物体的质量、阻力和接触刚度在不同场景中都不同，但在视觉上保持相同。我们首先测量原始观察序列的参数恢复，然后训练匹配的动作条件世界模型。预测目标可以强烈塑造潜在内容。例如，当预测触摸时，接触刚度变得可解码，而仅在输入不提供触摸时提供触摸。与单步预测相比，较长范围的预测改进了从学习的表示中对位置和速度的估计。阻力可以从原始观察中恢复，但从学习的潜在状态中的线性读数很弱。然而，模型的滑翔预测系统地取决于阻力。 RH20T 上的实验重现了对真实多模态机器人数据的相同输入目标依赖性。总之，这些结果表明，观测结果、预测目标和预测范围决定了在潜在状态下可访问的物理量以及它们如何影响未来的预测。