检索几何形状基于缓存的剪辑适应

基于缓存的测试时间自适应通过在保持模型冻结的同时存储和检索目标流中的示例来改进 CLIP 预测。然而，现有的方法在很大程度上将用于图像-图像检索的特征空间视为固定的，而有多少适应取决于检索空间本身。我们通过修复内存并仅更改检索编码器来研究这个问题，发现相同的内存可以产生非常不同的增益：在 16 个检索空间中，ImageNet-A 缓存增益范围从最多 +0.44 个点（CLIP 和 MAE）到 +19.7 +/- 0.4（DINOv2-L），而无标签检索空间选择保留了 ImageNet-V2 上 98% 的预言增益。这些结果表明，记忆质量不仅取决于存储的示例，还取决于检索示例的方式。受这一发现的启发，我们提出了 MARC（CLIP 内存增强检索），这是一种免训练系统，使用冻结的 CLIP 进行预测，使用 DINOv2-B 进行单一融合权重的检索。单视图缓存可修复 1074 +/- 21 个基线错误，而 64 视图整体可修复 878 +/- 4 个基线错误，而成本约为七分之一。在四个 ImageNet 分布变化中，MARC 达到了 67.91% 的 OOD 平均值，并且在匹配的 DINOv2-B 规模和八个视图下，达到了 64.17 +/- 0.31%，而基于图形的缓存系统达到了 62.75 +/- 0.15%，同时运行速度提高了 2.6 倍。总的来说，我们的结果将检索空间确立为遥感、科学成像和不断变化的视觉环境中基于缓存的稳健适应的一阶设计选择。