Res$^2$CLIP：具有残差到残差对齐的少样本通用异常检测

小样本通才异常检测要求模型无需重新训练即可推广到新类别，这在样本稀缺和类别快速变化的现实场景中提出了重大挑战。现有的基于CLIP的方法面临两大挑战：粗粒度的统一文本提示难以适应细粒度的前景-背景差异，导致跨粒度不匹配；辅助数据集上的 微调 由于域转移而破坏了 CLIP 固有的开放世界泛化能力，导致跨类别泛化能力下降。为了解决这些问题，我们建议将多模态对齐完全转移到统一的残差空间中，其中残差表示自然地消除了跨区域的细粒度正常特征差异和特定于类的偏差，同时解决了这两个问题。基于这一见解，设计了 Res$^2$CLIP，这是第一个残差到残差对齐框架，它对称地桥接 CLIP 残差空间内的视觉和文本模态。该框架从残差角度发展为三个分支：基于文本提示的分支、基于视觉提示的分支和新颖的残差到残差对齐分支。所有可学习的优化都被限制在残差域内，残差对齐优化目标旨在迫使模型关注相对异常偏差，而不是优化特定于类的特征。对多个数据集的实验证明了我们架构的有效性。代码可在 https://github.com/hito2448/Res2CLIP 获取。