测量用户提示中的分布变化及其对 LLM 性能的影响

LLM 越来越多地部署在动态的现实环境中，随着新任务、提示和用户被引入已部署的模型，用户提示的分布可能会随着时间的推移而发生巨大变化。这种自然而迅速的分布变化对 LLM 的可靠性提出了重大挑战，特别是对于为狭窄领域或用户群体设计的专用模型。尽管关注分布外的鲁棒性，但在先前的工作中，对测量自然即时分布变化的探索非常有限，并且其对部署的 LLM 的影响仍然知之甚少。我们介绍了自然提示偏移（LENS）框架下的 LLM 评估：一种以数据为中心的方法，用于量化自然提示分布偏移并评估其对已部署的 LLM 性能的影响。我们使用 192 个真实世界的部署后提示随时间、用户组和地理轴变化的设置进行大规模评估，在 468 万个训练提示上训练了总共 81 个模型，并对 57600 个提示进行了评估。我们发现，在部署的 LLM 中，即使用户提示行为发生适度的变化，也会导致性能大幅下降（平均损失 73%）。当来自不同潜在群体和地理区域的用户与模型交互时，这种性能下降尤其普遍，并且与随时间推移的自然提示分布变化相关。我们系统地描述了 LLM 指令跟随能力如何随时间和用户组之间的变化而降低。我们的研究结果强调了对数据驱动监控的迫切需求，以确保 LLM 性能在不同且不断变化的用户群体中保持稳定。