GEM：通过可变形曼巴生成激光雷达世界模型

模拟环境动态并生成传感器观测结果的世界模型在自动驾驶领域越来越受到关注。然而，基于激光雷达的世界模型的进展落后于基于摄像机视频或占用数据的世界模型，这主要是由于两个核心挑战：激光雷达点云固有的无序性以及区分动态物体和静态结构的困难。为了解决这些问题，我们提出了 GEM：一种利用可变形曼巴架构的生成式 LiDAR 世界模型，显着提高了保真度和想象力。具体来说，利用顺序激光扫描和 Mamba 处理机制之间的结构相似性，我们首先通过自定义 LiDAR 场景标记器将 LiDAR 扫描标记为紧凑的表示。通过动态-静态分离器对标记化特征进行无监督解开后，引入三路径可变形曼巴对解开的特征进行选择性扫描和自适应门控融合，从而增强对世界演化的时空理解。或者，可以集成规划器和 BEV 布局控制器，以探索模型的自主采样轨迹能力及其生成“假设”场景的潜力。大量实验表明，GEM 在不同的基准和评估设置中实现了最先进的性能，展示了其优越性和有效性。项目页面：https://github.com/wuyang98/GEM。