通过局部跨模态对齐和转向进行几何感知 CLIP 检索

CLIP 检索通常被视为共享嵌入空间中的逐点相似性问题。虽然 CLIP 实现了强大的全局跨模式对齐，但许多检索失败都是由于局部几何不一致而引起的：附近的项目排序不正确，导致系统混乱（例如五边形与六边形）并产生分散的、弱控制的结果集。先前的工作很大程度上优化了逐点相关性或微调以缓解这些问题。相反，我们将检索视为邻域对齐问题。我们的工作介绍了（1）通过匈牙利匹配进行邻里级别的重新排名，这奖励了结构一致性； (2) 查询条件局部转向，其中从查询周围的对比邻域导出的方向重塑检索。我们证明这些技术提高了属性绑定和组合检索任务的检索性能。这些方法共同作用于当地社区，但发挥不同的作用：重新排名奖励对齐，而本地指导控制社区结构。这表明检索质量和可控性关键取决于局部结构，可以在推理时利用局部结构而无需重新训练。