自动驾驶车辆的语义观察器层：用于低延迟异常检测的 VLM 的预部署可行性研究

语义异常——像素级检测器无法推理的与上下文相关的危险——在自动驾驶中构成了严重的安全风险。我们提出了一个\emph{语义观察器层}：一个量化视觉语言模型（VLM），以 1--2\,Hz 与主 AV 控制环路一起运行，监视语义边缘情况，并在检测到时触发故障安全切换。使用带有 NVFP4 量化和 FlashAttention2 的 Nvidia Cosmos-Reason1-7B，我们在相同硬件上实现了约 500 毫秒的推理，比未优化的 FP16 基线（无量化，标准 PyTorch 注意力）加速了约 50 倍，满足观察者的时间预算。我们对静态和视​​频条件下的准确性、延迟和量化行为进行了基准测试，将 NF4 召回率崩溃 (10.6%) 确定为硬部署约束，并进行了将性能指标映射到安全目标的危险分析。结果为嵌入式 AI AV 平台上的语义观察器架构建立了预部署可行性案例。