沙丘社区
论文

COSTGRAD：用规划成本梯度稀疏化视觉世界模型

Sparse Planning in Visual World Models via Cost Gradients

Yingchen Xu, Edward Grefenstette
模型优化智能体系统应用与实践Agent 规划稀疏化机器人

摘要

基于Token的世界模型可以实现细粒度的潜在规划，但重复处理大型空间Token网格会使动作搜索变得昂贵。我们引入了 COSTGRAD，这是一种免训练、目标条件选择器，它根据每个输入标记的规划成本的梯度范数对空间标记进行排序。通过从下游控制目标中得出重要性，COSTGRAD 的目标是对规划而不是仅仅对预测重要的Token。在稀疏度为 50\%$ 的 AdaLN 条件预测器上，COSTGRAD 在四个连续控制基准中的三个上匹配或超过了全Token规划，同时为每个环境规划步骤提供了测量到的 $2.6\times$ 实际运行时间加速。将Token稀疏性与减少的 CEM 搜索相结合，可将总加速提高到 $\sim 5\times$，同时仍然超过全Token基线。我们还确定了一种依赖于架构的故障模式：在匹配的 AdaLN 与 concat 比较中，concat 保持了可比较的全Token性能，但纯 COSTGRAD 失去了相对于随机选择的优势。这种差异追踪了行动路径的漂移： 梯度选择移除在 AdaLN 上产生的漂移比随机移除少，但在串联上产生的漂移更多。这些结果强调了选择器架构兼容性作为稀疏世界模型规划的设计轴。项目页面和演示：https://ycxuyingchen.github.io/costgrad/

COSTGRAD：用规划成本梯度稀疏化视觉世界模型：论文原图
图 1：CostGrad：选择一次，然后规划所选Token。 (a) 全Token、零动作探针提供规划成本梯度来选择上下文和目标的顶级 KK 位置𝒮\mathcal{S}。 (b) CEM 仅使用 𝒮\mathcal{S} 搜索动作，然后执行第一个动作。该子集在整个动作搜索过程中保持固定，并在下一次观察时重新选择；模型权重保持冻结状态。Token网格是示意性的；本体感觉被省略。