恶劣天气下自动驾驶的真实世界感知：通过基金会引导的自动注释增强标准检测器

自动驾驶汽车的标准部署就绪物体探测器在恶劣的天气和照明条件下会退化，而无需接受广泛的特定领域数据的培训。虽然大规模视觉基础模型提供了强大的零样本泛化能力，但其高计算成本使得它们对于实时部署来说不切实际。为了弥补这一差距，我们提出了一种基础引导的自动注释管道，可以在不改变架构的情况下增强标准检测器。我们首先在自定义的真实驾驶数据集上对三种不同的模型（YOLOv8、Co-DETR 和 SAM3）进行基准测试，该数据集涵盖各种路线、天气和照明条件下的 25 个独特的操作场景。根据我们的分析，SAM3 在所有场景中都表现出卓越的准确性和弹性。因此，我们将其部署为离线自动注释器，以在数据集的未注释子集上生成伪标签。与基线模型相比，对这些注释上的基线 YOLOv8 进行微调，总体平均精度 (mAP) 提高了 16.04%，并提高了跨环境稳定性，特别是在住宅直射阳光和高速公路雾中，mAP 分别提高了 32.73% 和 28.65%。这些结果表明，标准探测器可以实现环境恢复能力，而不需要大量的手动注释或架构修改。