论文
并非所有层都相同:用于可靠 CLIP OOD 检测的动态层路由
Not All Layers Are Equal: Dynamic Layer Routing for Reliable CLIP OOD Detection
摘要
揭示跨模型层的信息聚合以改进 OOD 检测。与最近工作中制定分层信息聚合方法相反,我们研究层选择是否是一个可学习的问题。换句话说,我们将问题从如何融合层转变为询问输入信任哪些层。使用可概括的、弱的、分布上下文之外的监督方法,该方法被证明比最先进的方法机制更有效,我们制定了学习一个轻量级路由器来选择一个稀疏的、最终层锚定的专家在 CLIP 的层深度上进行 OOD 检测。在三个不同的基准测试中,我们展示了称为 Voyager 的可学习路由方法,改进了 OOD 检测。在 ImageNet-1K 上,Voyager 的平均 FPR@95 为 18.86,比最强的、可比较的即时学习方法高出 8.8 分。这些收益在多个监督源中持续存在,包括现有最先进的即时学习方法所使用的监督源,这表明,虽然我们的弱 OOD 监督上下文非常有效,但关键优势是通过可学习路由器组件而不是监督源实现的。值得注意的是,Voyager 非常实用;使用不到 1 GB 的内存,路由器学习大约需要两分钟,这使得其效率比当前的提示学习方法大约高 20 倍。匿名代码:https://anonymous.4open.science/r/Voyager/