论文

IchthyoNoma:零样本生物视觉的命名法和上下文敏感性--孟加拉国淡水鱼识别的语言模型

IchthyoNoma: Nomenclature and Context Sensitivity of Zero-Shot Biological Vision--Language Models for Bangladeshi Freshwater Fish Recognition

模型评测鲁棒性、公平性与可信度评测

摘要

零样本视觉语言模型 (VLM) 越来越多地用作 无需训练 物种识别器,但报告的准确性可以反映的不仅仅是视觉物种知识。我们审核了来自两个孟加拉国来源的七个淡水鱼类别的 CLIP、BioCLIP、BioCLIP2 和多语言 Jina CLIP v2 控制(10,321 张图像)。 BioCLIP2 在具有英文通用名的 BFF-15 上达到 72.36%,在具有学名的 SylFishBD 上达到 68.91%,而通用 CLIP 为 25.15% 和 14.40%。 BioCLIP2 孟加拉语提示在平衡准确度方面接近机会 (14.22-14.29%); Jina 将孟加拉语歧视部分恢复到 21.89% 和 16.36%,但两个来源中的孟加拉语名字歧视率都恢复到 14.29%。成对的 SylFishBD 干预措施没有显示出明显的弱模糊效果,更强的模糊/灰色掩蔽造成的适度损失,更大的白色掩蔽伪影,以及强烈的物种依赖性。因此,零样本生物 VLM 分数共同反映了生物专业化、多语言对齐、命名法、提示表述和背景。