论文
标准条件情境学习：评估视觉语言模型中的标准转换适应性
Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models
摘要
视觉语言模型可以通过上下文学习（ICL）在不更新参数的情况下执行新任务，其核心机制是利用支持集进行任务归纳。在标准 ICL 设置中，一旦任务被诱导，其决策标准就保持固定。然而，在现实应用中，许多任务表现出稳定的高层意图，而它们的决策标准根据特定要求而变化。因此，我们引入了一种新的设置，称为标准条件上下文学习（CC-ICL），其中模型必须从上下文中推断出潜在标准，并在固定任务语义下相应地调整预测。为了评估这种能力，我们提出了两个互补的指标，即标准不变性和标准敏感性，以捕获模型在标准变化下的鲁棒性和适应性。我们进一步构建了 CC-Bench，一个支持 CC-ICL 设置下评估的多领域基准测试。通过采用双层数据层次结构，即使任务保持固定，CC-Bench 也可以根据活动标准实现合法的 真值 变化。 CC-Bench 上的实验表明，大多数模型都表现出严格的边界偏差，难以将其决策与潜在标准保持一致。我们还发现，即使是简单的多标准训练策略也可以显着减少这种偏差，提高标准灵敏度，并使 7B 规模的模型超越专有模型，而不会降低总体多模态性能。