仅摄像头端到端驾驶的退化容忍基准

仅使用摄像头的端到端 (E2E) 驾驶模型即将部署，其中摄像头流会因模糊、噪声、弱光、天气、帧丢失和内存故障而降低质量。一项政策在驾驶中断之前的容忍程度尚不清楚。腐败鲁棒性基准测试的是目标检测或鸟瞰感知，而不是驱动汽车的规划输出。我们推出 DriveDegrade，这是仅使用摄像头的 E2E 驾驶中图像劣化容限的基准。将 16 个具有 5 种严重程度的腐败家庭动态注入到图像加载器中，一个操作员达到 15 个策略，我们评估了 nuScenes 和 NAVSIM 以及 CARLA 闭环锚点的开环规划。首先，轻度退化几乎不会影响计划，而破坏计划的家庭有一个明确的中等严重程度阈值。其次，脆弱性与损坏有关：模糊、JPEG 和雨滴损坏计划最多，而天气和误码在该范围内是可以容忍的。第三，平坦的曲线是不明确的，因此我们将降低图像质量的损坏与消除图像的损坏分开。当信息被删除时，读取相机的计划者必然会失去准确性，无论它在质量损失的情况下做什么。在这两个轴上，规划者截然分开，量化了自我地位的捷径，而不会将冷漠误认为是鲁棒性。发布的视觉-语言-动作规划器在两个轴上都是平坦的，并且使所有六个摄像头致盲的成本仅为 11.5%。