自回归中的认知疲劳 Transformer：形式化和测量

自回归语言模型在长视野生成过程中经常会退化，产生重复的文本，失去指令依从性，并表现出不稳定的熵。尽管这些故障很普遍，但从业者缺乏在线诊断来实时检测它们的发生。我们将这种退化形式化为认知疲劳，这是一种可测量的生成时间状态，其特征是对原始提示的注意力衰减、表征漂移和熵校准错误。我们引入了疲劳指数（FI），这是一种轻量级的、与模型无关的诊断，它根据明确的公理（单调性、有界性、可解释性）聚合这三个信号，从而实现可靠的运行时监控。在九个模型（1B-13B 参数）中，FI 轨迹表现出结构化的时间动态，预测任务退化（AUROC = 0.95）和重复（Spearman rho = 0.94），并揭示非单调缩放行为：低于 3B 的指令调整模型比基础模型表现出更快的崩溃，这种趋势在 7B 时逆转。压力分析进一步表明，在较长的背景、中间位置的证据和较低的数值精度下，FI 的发生会加速。这些结果将认知疲劳确立为一种连贯且可测量的现象，并将 FI 定位为生产 LLM 系统中运行时可靠性监控的原则性工具。