CF-JEPA：通过可控性分解提高 JEPA 世界模型的鲁棒性

用视觉控制智能体需要能够将有用的信息与不相关的背景信息分开。 JEPA 风格的潜在世界模型似乎是一种自然的方法，因为它们不执行像素级重建；然而，他们仍然对这些干扰信号敏感并经历潜在的崩溃。在这项工作中，我们引入了可控性分解 JEPA（CF-JEPA），这是一种 JEPA 风格的世界模型，它将潜空间划分为可控和不可控子空间。这种因式分解使我们能够将所有干扰信息捕获到不可控区域中，同时我们将与控制相关的潜在信息用于我们的任务。由此，我们在标称条件下展示了 2D 和 3D 控制任务的可比性能，并在分散注意力的条件下提高了性能，其中 CF-JEPA 是唯一不会经历潜在崩溃的模型。我们还在模拟机器人任务的分心条件下验证了我们的模型，强调了这种方案的实际应用。