使用交互评估和解释 LLM 的提示灵敏度

大语言模型 (LLM) 的卓越功能常常因其不稳定性而受到削弱。即使提示中细微的、语义上不相关的变化也会导致性能的剧烈波动，这种现象称为提示敏感性。以前的研究通常通过比较提示变化时 LLM 的最终输出来评估提示灵敏度。然而，这种粗粒度的指标无法解释即时敏感性的内部原因。在本文中，我们引入交互作为细粒度工具来分析 LLM 的提示敏感性。具体来说，我们将 LLM 的输出分数分解为一组交互。每个交互都代表涉及一组输入变量的非线性关系。我们发现，即使 LLM 的输出保持不变，提示的细微变化也会引发交互的严重不稳定。为此，我们提出了一种基于交互的提示敏感度（IPS）指标，通过量化当我们对提示进行细微更改时交互的变化。我们将 IPS 指标应用于 50 个开源 LLM，并发现了降低 LLM 即时灵敏度的四个因素，包括监督 微调、增加的模型规模、密集架构和少样本学习。更重要的是，我们发现了这四个因素降低即时敏感性的共同机制：所有四个因素都倾向于降低低阶交互（即涉及很少输入变量的交互）的即时敏感性。