论文
免疫-VLM：通过生成语义抗体免疫大型视觉语言模型以实现开放世界的可信度
Immuno-VLM: Immunizing Large Vision-Language Models via Generative Semantic Antibodies for Open-World Trustworthiness
摘要
大视觉语言模型通过将视觉特征与广泛的语义概念结合起来，在零样本识别方面取得了前所未有的成功。然而，这种语义抽象在开放世界部署中造成了一个严重的漏洞：“语义傲慢”，由于缺乏明确的负面知识，模型以高置信度将未知异常强行拟合到已知类别中。为了解决这个 \textit{开放世界可信度悖论}，我们提出 \textbf{Immuno-VLM}，这是一种生物启发框架，它将 \textbf{免疫负选择} 的生物学原理适应高维潜在空间。与依赖于被动密度估计或低效的像素空间离群值生成的传统开集识别方法不同，Immuno-VLM 利用 大语言模型 的生成推理来主动产生“语义抗体”，即近分布离群值（例如相似、上下文异常）的文本描述，有效地限制了已知类别的决策空间。 ImageNet-1K 和四个具有挑战性的 OOD 基准表明，Immuno-VLM 建立了新的最先进技术。