论文

你所提示的就是你所提示的:农产品视觉语言模型中的提示质量、领域转移和不确定性

You Are What You Prompt: Prompt Quality, Domain Shift, and Uncertainty in Agrifood Vision-Language Models

模型评测评测方法与指标

摘要

视觉语言模型可以通过自然语言提示实现零样本分类,但性能对提示表述很敏感,尤其是在专门领域。零样本提示集成(ZPE)通过判别信号对提示进行加权来解决这个问题,但其在域转移下的行为仍未被探索。我们使用 CLIP 和 SigLIP 在四个数据集和四个提示池中评估农业食品领域的 ZPE,涵盖分销内 (ID) 食品和分销外农业基准。 ZPE 在 ID 条件下提供的好处有限,但在域转换下显着提高了性能和校准,其中 51-52 提示的特定域池始终优于 247-426 的通用池。词法分析表明,ZPE 充当无监督域对齐检测器,无需标签访问。我们进一步引入了 PID(基于提示的不一致检测),它将提示分歧重新定位为认知不确定性,改进了标准置信度测量崩溃的严重领域转移下的故障检测。