JEPA-TTT：动态变化下规划潜在世界模型的持续测试时间训练

世界模型使智能体能够通过预测环境的未来状态来进行规划，但是当测试时动态与训练期间看到的动态不同时，它们的预测可能会变得不可靠。我们提出了 JEPA-TTT，它在整个测试时间内适应了预训练的动作条件联合嵌入预测架构世界模型的潜在动态预测器。自监督更新在各个情节中累积，而视觉编码器和奖励头保持固定，保留预先训练的表示和任务目标。规划既不需要目标图像，也不需要在线环境奖励。 JEPA-TTT 使用密集重放，在每个时间偏移处形成预测窗口，将它们保留在不断增长的缓冲区中，并从该缓冲区中采样小批量以进行预测器更新。在四个连续控制环境中的八个动态班次中，JEPA-TTT 改进了每个班次的规划。经过 500 次测试时间后，与冻结的 JEPA 世界模型相比，它平均将自回归潜在预测误差降低了 83%，并将规划性能提高了 153%。这些结果表明，持续的自我监督测试时间训练可以在变化的动态下适应预训练的潜在世界模型。