参数高效的视觉语言适应与连续元数据调节用于动物重新识别

长期的动物重新识别（ReID）必须对逐渐的形态进化和季节性外观变化保持稳健。尽管最近的视觉语言模型提供了强大的预训练视觉表示，但使它们适应纵向生态环境仍然具有挑战性，特别是在身份和时间分布变化的情况下。我们提出了一种用于动物 ReID 的参数高效 CLIP 适应框架，并引入了连续元数据调节机制，该机制将数字属性直接纳入训练期间的提示表示中。虽然低秩视觉适应、基于提示的监督和跨模式对齐提供了适应框架，但所提出的元数据调节策略构成了主要的方法论贡献。通过保留数字元数据的连续结构而不是将其离散化为文本类别，所提出的方法能够在训练期间平滑地调制嵌入空间，同时保持纯粹的视觉推理管道。对七年纵向鱼类数据集和多个野生动物基准的实验表明，在封闭集、开放集和时间感知评估协议下，性能有所提高。结果表明，连续元数据调节提高了对纵向外观变化和时间分布变化的鲁棒性，而参数有效的适应可以实现纯粹的视觉推理管道，而无需在测试时需要元数据。代码和评估拆分可以在以下位置找到：https://github.com/AnilOsmanTur/MetaPrompt-ReID。