文本恐怖谷：LLM 信息检索中的非单调性能下降

现有的 大语言模型 (LLM) 基准主要关注语法正确的输入，在对不完美文本的评估方面存在显着差距。在这项工作中，我们研究了字边界损坏如何影响 LLM 检测目标信息的方式。通过在单词中插入空白字符将其分解为片段，LLM 的检测精度随着插入率的增加呈 U 形曲线。我们将此曲线称为“文本恐怖谷”。为了解释这种观察结果，我们提出了一个模式转换假设：LLM 在接近正常文本的字级模式下运行，在严重碎片化的文本下以字符级模式运行，谷值标记无序转换，其中两种模式都无效。四个实验和一个分析与这一说法一致：情境学习无法挽救谷底表现；正则化扰动可显着减少 U 形；数学推理任务复制了 Gemini 3.0 Flash 的 U 形，但不适用于更强的模型，这表明当任务不太依赖精确的词汇对齐时，效果会减弱；和标记化熵在 F1 最小值之前达到峰值，与政权冲突解释一致。这些发现揭示了一种对于纯文本基准不可见的故障模式，但与涉及噪声或未经策划的文本输入的任何部署场景直接相关。