重新审视 大语言模型 推理中的拟人化反射标记

大语言模型（LLM）在复杂推理过程中常常会产生明确的反思痕迹，并伴有诸如等待、嗯、另类等拟人化标记。尽管这些标记通常用作可见的反射指示器，但其机制仍不清楚，这导致了与冗余和重复的反射标记相关的过度思考的风险。在这项工作中，我们重新审视拟人化的反射标记，检查它们推理的必要性以及在反射中的作用。我们通过提示级别和 词元级 干预来抑制这些标记，并分析它们对四个基准和两个模型量表的任务绩效的影响。我们的结果表明，拟人化标记对于推理性能并不总是必需的：抑制它们可以在多种设置中保持或提高性能，特别是在较大的采样预算下。同时，标记抑制并不一定会消除反射行为，因为模型仍然可以执行无标记验证。这些表明拟人化标记往往是表面线索，而不是反射本身的可靠代理，并激发了未来对超越明确标记模式的推理机制的研究。