论文
骨架和策略提示：视觉语言模型的免训练否定理解
Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models
摘要
尽管视觉语言模型 (VLM) 在各种视觉问答 (VQA) 任务中表现出色，但这些模型始终难以理解否定，并在问题涉及否定从句时产生错误的答案。为了解决这个限制，我们提出了骨架和策略提示（SSP），这是一种免训练的上下文学习方法，可以在不更新任何参数的情况下提高 VLM 否定理解能力。给定一个否定问题，我们的方法首先将底层问题结构抽象为骨架，从轻量级问题库中检索一小组相同骨架的问题，然后提示 VLM 分析它们共享的否定模式并合成单句回答策略。框架和策略被预先添加到测试样本中，以指导模型正确解决否定问题。对多个否定 VQA 基准的实验表明，SSP 在以否定为中心的 VQA 任务上实现了最先进的性能，同时保持了计算效率。