PhysiFormer：学习模拟世界空间中的力学

我们推出了 PhysiFormer，一种用于物理上合理的 3D 物体运动的扩散 Transformer。与在依赖于视图的像素空间中运行的视频世界模型不同，PhysiFormer 将对象表示为以世界坐标表示的 3D 网格。给定初始顶点位置和速度，以及物体材料类型（刚性或弹性），模型会对未来的顶点轨迹进行采样。虽然相关的神经物理方法建立在临时潜在空间上或明确地强制刚性和因果关系，但 PhysiFormer 表明，通过将顶点轨迹预测直接在世界坐标中作为单个去噪扩散过程，可以在没有任何此类归纳偏差的情况下获得出色的结果。概率公式捕捉了学习动态中的不确定性，从初始条件出发实现了多种可能的未来，使得该框架对于具有未观察到的不确定性的应用可能有用。该模型的特点是注意力随时间、空间和对象分解以提高效率，从而无需显式对象编码即可实现排列不变的多对象推理。 PhysiFormer 经过超过 100k 条模拟轨迹的训练，生成刚性和弹性力学，并推广到混合材料设置、看不见的现实世界几何形状和更大的对象数量。它在轨迹精度、刚性保持和基于动量的物理一致性方面大大优于自回归基线。我们的结果将坐标空间扩散定位为机器人、图形和物理设计的视图不变、几何感知世界建模的一个有前途的一步。可视化、代码和模型可在 https://yimingc9.github.io/phyformer 获取。