GP-Adapter：用于少样本分布外检测的高斯过程 CLIP 适配器

我们提出了 GP-Adapter，这是一个 无需训练 框架，它通过高斯过程 (GP) 不确定性模型增强了 CLIP（对比语言图像 预训练），以实现少样本分类和分布外 (OOD) 检测。虽然 CLIP 实现了强大的零样本识别，但它产生确定性相似性分数并提供有限的不确定性信息，这在分布变化和数据稀缺的情况下至关重要。 GP-Adapter 使用用于图像特征的 RBF 内核和用于文本提示的线性内核，在冻结的 CLIP 嵌入之上构建特定于模态的、按类别的一类 GP，并融合其预测统计数据以生成用于 OOD 检测的方差感知置信度得分。该方法不需要 CLIP 主干的 微调，仅依赖于小型 $K$ 镜头缓存和轻量级超参数选择，对于 $C$ 类和 $K$ 镜头，内存成本缩放为 $O(CK^2)$。在 ImageNet 和多个 OOD 基准上的实验表明，GP-Adapter 提供了具有竞争力的小样本性能，并在与即时学习基线相结合时持续改进了 OOD 检测，突出了基于 GP 的不确定性建模和即时学习之间的互补性。总的来说，我们的结果表明，将概率推理与大型预训练视觉语言模型相结合可以提高低数据和分布转移环境中的可靠性。代码可在 https://github.com/tms-byte/GP-Adapter 获取