论文
超越模板:通过元提示重新审视零样本遥感
Beyond Templates: Revisiting Zero-Shot Remote Sensing through Meta-Prompting
摘要
视觉语言模型 (VLM) 引发了人们对零样本地球观测 (EO) 下游任务日益增长的兴趣,而遥感适应模型带来了进一步的收益。我们在视觉识别元提示 (MPVR) 下检查了 17 个 VLM 变体和 12 个遥感 (RS) 数据集的此设置,并表明零样本性能对文本设计选择仍然高度敏感,从用于指导 LLM 生成类描述的元提示到描述本身。我们探讨了为什么语义丰富的 LLM 生成的类描述不能转化为比简单的域适应 CLIP 样式描述一致的增益。虽然 LLM 描述在语义上更具表达力,但它们也会在文本嵌入空间中引入噪声,从而降低下游任务的鲁棒性。我们通过白化 CLIP 特征空间中的文本对数似然分析来支持这一观察,比较 LLM 生成的描述和基于模板的描述。基于这一发现,我们研究了查询嵌入校准,并表明查询空间的轻量级校准始终能够在零样本分类和检索方面产生强大的改进。总的来说,我们的结果为语义丰富性和鲁棒性之间的权衡提供了实用的见解,并将嵌入校准确定为提高零样本遥感性能的简单有效的工具。