潜在世界模型中可预测性的控制理论

潜在世界模型经过训练，可以在学习的表示中预测未来状态，然后部署在规划器中，规划器通过向前模拟来选择操作。目前的实践采用预测误差，即保留数据的单步或多步轨迹展开损失作为训练和模型选择目标，假设较低的预测误差会产生更好的控制。我们表明，由于结构原因，这种假设是不可靠的：规划器不会在训练分布上查询模型，而是在其候选动作达到的状态上查询模型，这通常会离开数据流形，因此数据上的平均误差本身无法控制控制。因此，我们将目标重新定义为规划者承诺的计划的预测成本与真实计划成本之间的差异，并证明规划者的次优性受该差异两倍的限制，而数据平均预测误差既不限制也不跟踪它。在线性控制前提下，差异分为两项。第一个是一个小的流形残差，预测的动态和真实的动态一致，并且谱税通过潜在转移算子的非正态性进行定价。第二个是流形外发散，其中一个动作将状态带离流形，并且两个动态发散；该差异是约束项并且不受数据平均误差的限制。综合算子确认了定价公式，潜在模型预测控制实验证实了这种解耦：在种子中，单步验证误差本质上与控制成功不相关，而规划器可达度量的保真度分数则跟踪它。