监督决定成功的因素：潜在世界模型规划的标准对齐辅助损失

潜在世界模型通过对潜空间中的距离对候选动作序列进行评分来进行规划。然而，任务成功是通过物理量来判断的，我们称之为成功标准量。在我们检查的所有四个潜在世界模型中，末端执行器位置都在潜状态中进行编码，其误差大于成功标准允许的误差。这种潜状态无法将成功的候选人与失败的候选人区分开来。我们提出了一种辅助损失，它使用成功标准量作为训练目标，而现有的潜在世界模型仅将它们作为输入。在训练期间，编码器和预测器输出上的线性头对成功标准量进行回归，并将回归误差添加到训练损失中。训练后头部被丢弃，因此模型、其成本及其在测试时的输入保持不变。仅这一损失就将 PushT 和 Cube 的成功率分别提高了 3.5% 和 3.4%（绝对），并且这两项改进在统计上都是显着的。因此，成功标准指定了世界模型在其潜状态中必须保留的内容，并且我们证明它可以直接作为训练目标。