SLAP：通过部分最优传输进行鱼类重新识别的选择性局部视觉语言对齐

个体鱼类重新识别（ReID）是一个细粒度的识别问题，其中身份辨别线索通常局限于特定的身体区域，而不是均匀分布在整个动物中。然而，最近基于 CLIP 的 ReID 方法主要依赖于全局图像文本对齐，允许背景和弱辨别区域有助于跨模式监督。我们提出了一种选择性的本地视觉语言对齐框架，该框架通过部分最优传输（POT）在视觉补丁嵌入和多个身份感知提示嵌入之间建立本地化对应关系。 POT 不是强制执行详尽的对应，而是能够在视觉块和提示嵌入之间进行选择性匹配，从而使模型能够强调最强的跨模态对应，同时避免弱匹配区域的强制对齐，从而为检索产生更具辨别力的视觉表示。该框架是端到端训练的，而在推理过程中仅保留适应的视觉编码器。在纵向 Symphodus melops 数据集上进行的实验表明，在闭集和开放集评估协议下，与最近基于 CLIP 的 ReID 方法相比，都有一致的改进。对其他数据集的额外评估进一步证明了所提出的方法在不同海洋 ReID 基准上的泛化能力。