SkyJEPA：学习长视野世界模型以实现四旋翼飞行器的零射击模拟到真实控制

准确的动力学模型对于机器人系统中的明智决策至关重要，特别是对于在不确定性下运行的敏捷飞行器而言。神经网络动力学模型对于捕获复杂的非线性效应很有吸引力，但现有的预测方法难以进行长期预测，因为它们的自回归预测展开机制会随着时间的推移放大误差。联合嵌入预测架构 (JEPA) 通过对潜在空间中的动力学进行建模，提供了一种令人信服的替代方案，但之前的 JEPA 式机器人导航方法主要针对运动学级规划进行研究，对高频控制的研究有限。在这项工作中，我们引入了用于实时四旋翼控制的 JEPA 风格模型。所提出的方法将潜在动力学模型与新颖的受物理启发的探测器结合起来，该探测器将冻结的潜在表示映射到可解释的状态，从而实现物理基础的长期预测。此外，我们将学习模型与基于采样的最优控制解决方案相结合，利用其预测功能对嵌入式硬件进行实时控制。最后，为了减少对昂贵且不安全的现实世界数据收集的依赖，我们开发了一个用于自动数据集生成的结构化管道。广泛的开环和室外闭环实验证明了准确的预测、强大的零样本模拟到真实的转换以及跨不同操作条件的强大泛化能力。