论文
ZooClaw-FashionSigLIP2:用于稳健时尚检索的 微调 蒸馏
ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval
摘要
将基础视觉语言编码器适应专门的检索任务会产生一个基本的权衡:目标分布的增益是以基础模型的广泛泛化为代价的,而时尚检索就是这个问题的一个严格例子。我们提出了 ZooClaw-FashionSigLIP2,一种时尚专用的基于 SigLIP2 的模型,它通过一个简单的方法解决了这种权衡问题——在精选的域内数据上使用 知识蒸馏 的完整 微调,然后使用基本模型进行 \wiseft~\citep{wortsman2022wiseft} 权重插值——并且优于 LoRA、更大的主干网(高达 1B)参数)和外部训练数据。在公平评估下,ZooClaw-FashionSigLIP2 在我们套件中的每个基准测试中都优于所有基线。此外,我们还发布了 ZooClaw-Fashion,这是一种新的高质量时尚检索基准,以及对广泛使用的基准的系统质量分析,揭示并减轻了公开 真值 中的结构性偏差。我们开源模型权重和所有评估工件,以促进未来的研究。