英语作为第二语言和打字错误对 LLM 表现的单独和综合影响

大语言模型 (LLM) 在全球范围内使用，并且由于其大部分训练数据都是英文，因此它们通常在英文输入上表现最佳。因此，许多非英语母语人士以英语作为第二语言 (ESL) 与他们互动，而这些输入通常包含印刷错误。之前的工作主要分别研究了 ESL 变化和印刷错误的影响，尽管它们在现实使用中经常同时出现。在本研究中，我们使用 Trans-EnV 框架将标准英语输入转换为八种 ESL 变体，并应用 MulTypo 注入三个级别的拼写错误：低、中和严重。我们发现，将 ESL 变化和拼写错误相结合通常会导致比单独任何一个因素更大的性能下降，尽管组合效应并不是简单的累加效应。这种模式在封闭式任务中最为明显，其中性能下降可以在 ESL 变体和打字错误级别上更加一致地表征，而开放式任务的结果则更加复杂。总体而言，这些发现表明，对干净标准英语的评估可能会高估现实世界的模型性能，并且单独评估 ESL 变化和印刷错误并不能完全捕捉现实环境中的模型行为。