世界运动模型：SE(3) 轨迹的灵活序列建模

为人工智能体配备空间智能需要对动态 3D 世界进行全面的生成先验。我们提出了世界运动模型 (WMM)，通过稀疏 SE(3) 姿势轨迹捕捉“过去、现在和将来的情况”。 WMM 建立在这样的观察之上：动态场景的元素可以通过一组刚性 SE(3) 轨迹很好地近似，这是 4D 建模的最小但富有表现力的基元。这种表示将铰接物体、人体、手部物体交互、分段刚性场景动力学、相机运动，甚至机器人状态和动作统一到一个共享空间中。给定这种表示，我们利用与每个词元噪声水平的流匹配，将这些实体的联合分布转化为灵活的序列建模问题。与非顺序调节的上下文标记机制相结合，该公式支持跨任意数量的实体和时间步的任意到任意的边际调节。未来预测、运动填充、模型预测控制、逆运动学、跨实施例重定向和策略学习等任务都简化为在同一网络上应用不同的掩模。对 3D 视觉和机器人技术的 6 种不同应用进行的实验证明了 WMM 的多功能性和灵活性以及强大的性能。