JEPA 式世界模型的谱目标物理潜在结构

潜在世界模型作为在潜在空间而不是像素空间中进行预测和规划的方法变得越来越流行。最近的架构，例如 LeWorldModel (LeWM)，使用 SIGReg 等正则化技术联合训练编码器和预测器，以防止表示崩溃。即使这种正则化可以防止表示崩溃，我们仍然确定了物理表示惰性的新世界模型故障模式，特别是在高度动态的环境中。对于这些懒惰的情况，学习到的潜在状态不会崩溃，但仍然无法表示关键的物理属性，导致普遍存在的下游规划失败。为了解决这个问题，我们提出了使用轻量级“傅立叶辅助头”进行训练时辅助监督，它强制执行潜在空间的物理知情结构，而无需额外的推理时间成本，并且可以推广到任何环境。通过实验，我们表明辅助头大大提高了基线 LeWM 表现出物理表示惰性的动态环境中的规划成功率。即使基线没有表现出物理表示惰性，它也会在其他环境中带来适度的改进。我们进一步观察到卓越的规划性能伴随着与关键物理属性更高的潜在空间相关性，这表明我们的方法具有物理结构潜在状态的能力，以及物理结构的学习表示的潜在规划方面的好处。我们还看到，在低数据制度下，辅助监督对于提高成功率特别有影响力。这些发现支持使用我们的傅里叶辅助头方法来提高整体成功率和数据效率，同时避免潜在世界模型中的表示惰性。