有用性之咒：基于DistractionIF的干扰指令鲁棒性逆缩放定律

摘要

大语言模型（LLM）越来越多地被部署在智能体和检索增强生成（RAG）系统中，在这些系统中，它们必须基于外部提供的参考文本来执行用户指定的任务。在实践中，这类上下文往往是非结构化的，并被良性但类似指令的语义噪声（如编辑批注和系统痕迹）所污染，而这些噪声应当被严格视为数据。我们提出DistractionIF，一个旨在评估对参考文本中此类干扰指令鲁棒性的基准。在广泛的模型范围内，我们观察到一致的逆缩放现象：更大的模型往往更不鲁棒，随着规模增大，性能最多下降30分。在机制层面，我们的困惑度分析揭示，缩放侵蚀了鲁棒行为与分心行为之间的概率边界，使模型越来越容易把噪声过度解读为指令。为解决这一问题，我们证明强化学习，特别是组相对策略优化（GRPO），能够恢复这一边界，在不损害通用指令遵循能力的前提下将鲁棒性最多提升15.5%。我们的发现凸显了基于参考的任务中一个关键的指令遵循鲁棒性缺口，并确立强化学习是在大规模场景下强制执行严格的数据-指令分离的一条有前景的路径。

有用性之咒：基于DistractionIF的干扰指令鲁棒性逆缩放定律：论文配图 — 图 1：过度解释偏差的机制。虽然较小的模型（左）正确地将参考文本视为被动数据的平面块（保留所有格式和注释），但较大的模型（右）却遭受了“乐于助人的诅咒”。他们推断出潜在的结构，识别要优化的“真实主体”，同时将语义噪声（例如，输出为乳胶）误解为可执行指令。该可视化解释了 DistractionIF 中观察到的逆缩放定律：能力缩放会导致噪声环境中的鲁棒性降低。