WeatherOcc3D：VLM 辅助的不利天气感知 3D 语义占用预测

虽然多模态 3D 语义占用预测通常通过融合摄像头和 LiDAR 输入来增强鲁棒性，但其有效性从根本上受到环境变化的限制。具体来说，相机传感器会遭受严重的低光退化，而激光雷达传感器在强降水期间会遇到显着的反向散射噪声。这些不利条件造成了模态信任问题，因为当特定传感器变得不可靠时，静态融合策略无法自适应地重新加权输入。为了解决这个问题，我们提出了一个 VLM 辅助框架，利用预先训练的 CLIP 潜在空间来通过语言环境线索指导多传感器集成。我们利用参数高效的适配器将特定于天气的文本嵌入与传感器功能相结合，并结合门控策略将环境不确定性分解为两个因素：可见性和照明。这使得模型能够动态调节融合比率 - 在晴朗的日光下优先考虑语义相机功能，并在雨夜期间转向几何 LiDAR 先验。对 nuScenes 数据集的评估证明了我们方法的多功能性，因为在 OccMamba 和 M-CONet 架构上实现我们提出的框架分别获得了 26.3 和 21.1 的 mIoU 分数，显着优于其传统基线。