论文
语言模型何时下注?言语化前承诺的有限答案理论
When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment
摘要
语言模型通常会在给出最终答案之前生成推理,但可见的答案并不能揭示模型的答案偏好何时变得稳定。我们通过一个狭窄的可计算对象来研究这个问题:\emph{有限答案偏好稳定}。对于模型状态和指定的答案语言器,我们将模型自身的连续概率投影到有限答案集上;在二元任务中,这会产生精确的对数赔率代码,$δ(ϋ)=S_θ(\mathrm{yes}\midϋ)-S_θ(\mathrm{no}\midϋ)$。该目标定义了基于解析器的答案开始、回顾性稳定时间和领先,而不依赖于贪婪的推出或学习的探针。在使用 Qwen3-4B-Instruct 的受控延迟判决任务中,上下文有限答案投影在答案可解析之前稳定下来,主模板中的 17--31 标记平均领先,以及解析器干净复制中的正、较短领先。该信号跟踪模型的最终输出而不是事实,可以从紧凑的隐藏摘要中线性恢复,与光标进度部分分离,并且作为共享信息进行传输,而无需单个不变坐标。诊断将测量与在线停止、无语言者信念和因果答案控制分开;精确的转向显示$δ$的局部灵敏度,但不可靠的发电控制。