学习节省通勤时间的世界模型进行规划

世界模型允许智能体通过选择一系列最能缩短与给定目标状态距离的动作序列来在潜空间中进行规划。因此，规划可以受益于潜在表示，其距离反映了环境中的通勤时间。图拉普拉斯的谱嵌入空间提供了这样的表示，如果它遵循特定的依赖于特征值的缩放。不幸的是，在大型连续环境中实例化拉普拉斯图是很棘手的。自我监督学习为这种大规模的节省通勤时间的嵌入提供了一条自然途径。然而，在这里我们表明，现有的方法通常鼓励各向同性表示以防止表示崩溃，但往往会降低“正确”的特征值相关缩放，导致通勤时间的表示不准确。为了解决这个问题，我们引入了通勤时间保持世界模型（CTWM），它将潜在位移预测器和防止崩溃的对数行列式正则化器相结合，可证明在可逆确定性动力学和预测器固定点处恢复正确缩放的拉普拉斯表示。在数值模拟中，CTWM 在几个复杂的、连续的目标达成基准上匹配或优于 LeWM（一种与任务无关的基线），同时使用一半的参数。