Drive-HWM：动态潜在引导自动驾驶的分层世界模型

世界模型通过预测交通场景如何演变并使用此类预测来支持动作生成，为自动驾驶提供了一个有前途的范例。然而，现有的方法要么将未来预测与行动生成分开，要么在同一时间尺度上联合预测它们，这使得很难同时实现长期预测和响应性、基于观察的决策。我们提出了 Drive-HWM，一个分层的慢-快世界建模框架，它在互补的时间尺度上组织未来的表示预测和动作生成。慢世界模型预测多步的未来表示以捕获扩展的场景演化。为了明确地模拟驾驶环境中丰富的运动动力学，我们引入了通过光流预测学习的动态感知潜伏。在这些未来表示的指导下，快速模型使用轻量级多模态主干和自回归专家来共同预测下一帧和最新观察中的立即行动。下一帧预测鼓励快速模型捕捉即将发生的场景演变，而一步动作生成允许随着新观察的到来而不断更新决策。在NAVSIM v1和v2上进行的大量实验证明了Drive-HWM强大的驱动性能。全面的消融研究进一步验证了分层慢速设计、动态感知未来表示以及联合下一帧和动作预测的有效性。