知识引导的故障预测：检测物体探测器何时遗漏安全关键物体

部署在安全关键环境中的物体检测器可能会悄无声息地发生故障，例如在不发出任何警告的情况下错过行人、工人或其他安全关键物体。传统的分布外（OOD）检测方法侧重于识别不熟悉的输入，但不直接预测检测器本身的功能故障。我们引入了知识引导故障预测（KGFP），这是一种基于表示的监控框架，它将错过的安全关键检测视为要在运行时检测到的异常。 KGFP 使用具有角距离度量的双编码器架构来测量内部对象检测器特征和视觉基础模型嵌入之间的语义错位。一个关键特性是，当检测器在其能力范围之外运行或视觉基础模型本身遇到新的输入时，两个嵌入会发生分歧，产生一个高角度信号，可靠地标记不安全图像。我们将我们的新颖 KGFS 方法与基线 OOD 检测方法进行比较。在 COCO 人物检测中，应用 KGFP 作为选择性预测门，以 5% 的误报率 (FPR) 将已接受图像中的人物召回率从 64.3% 提高到 84.5%，并在六个 COCO-O 视觉域中保持强劲的性能，大幅优于 OOD 基线。我们的代码、模型和功能发布在 https://gitlab.cc-asp.fraunhofer.de/iosb_public/KGFP。