论文
注意差距：LeWorldModel 中分层规划的承诺和陷阱
Mind the Gap: Promises and Pitfalls of Hierarchical Planning in LeWorldModel
摘要
我们研究时间层次结构是否可以改进 LeWorldModel 的长视野目标条件控制。我们引入了 Hi-LeWM，这是一个扩展，可以冻结预训练的底层 LeWM，并在潜在子目标上添加高级规划。我们在 PushT 和 Cube 上评估 Hi-LeWM 增加目标偏移量。层次结构不会自动提高性能：在短期内，最佳配置使用一步高级水平，而较长的水平则揭示了学习的高级动作空间与推理时间搜索分布之间的不匹配。对真实未来潜在子目标的实验表明，冻结的底层控制器可以执行良好对齐的中间目标，这表明高级子目标生成是主要瓶颈。无约束搜索可以选择在学习模型下看似有利但产生不良控制目标的潜在宏观动作。围绕从训练轨迹编码的宏观动作进行约束搜索，并采用适当的子目标执行时间，可以恢复有用的层次结构，在中等范围内比平坦 LeWM 提高了 +11.3 个百分点，在最长 PushT 范围内提高了 +14.7 个百分点。总体而言，时间抽象可以使紧凑的冻结 LeWM 受益，但前提是高级搜索与底层控制器保持兼容