承载语境：评估语言推理中语境依赖的问题损害分数

确定 大语言模型 是否从上下文或先验知识中得出答案仍然是一个基本挑战。独立的语言奥林匹克难题提供了一个受控的环境，其中所有答案仅来自专家设计的上下文示例，无需外部知识。删除单个上下文示例可以消除特定问题所需的信息，同时保持谜题的其余部分不变。我们利用这一点来引入一个诊断框架来分析各个上下文示例。使用 53 个英国语言学奥林匹克难题，我们通过删除单个上下文示例生成两个修改变体：（1）统一随机删除，以及（2）有针对性的删除（受纠错码启发）以删除唯一携带必要信息的结构承载示例。我们使用问题损害分数将谜题分类为脆弱或稳健，从而形式化这种影响。在信息不足时弃权的指示下评估三个前沿LLM，我们发现它们很少弃权，通常在移除承载上下文后继续产生正确答案。这些发现激发了对基于情境的推理、先验知识、记忆和语言推理的进一步研究。除了弃权之外，该框架还可以对情境依赖进行细粒度分析，包括因果干预、停止集分析、有针对性的污染研究和机械解释。