用于了解即时组件对 LLM 性能影响的回归框架

随着 大语言模型 (LLM) 不断改进并进一步集成到软件系统中，因此需要了解它们的执行条件。我们贡献了一个统计框架，用于了解特定提示功能对 LLM 性能的影响。该方法扩展了之前的可解释人工智能 (XAI) 方法，通过拟合将提示部分与 LLM 评估相关的回归模型来专门检查 LLM。我们应用我们的方法来比较两个开源模型 Mistral-7B 和 GPT-OSS-20B 如何利用提示来执行简单的算术问题。各个提示部分的回归模型分别解释了模型性能的 72% 和 77% 的变化。我们发现，以不正确的示例查询-答案对形式出现的错误信息会阻碍两个模型解决算术查询，尽管正面示例并未发现正面和负面指令的影响存在显着差异——这些提示对模型性能具有矛盾的影响。该框架可作为决策者在关键场景中的工具，帮助他们深入了解提示如何影响 LLM 解决任务。