Stochastic CHAOS：为什么确定性推理是致命的，而分布变异性才是人工认知的心跳

摘要

确定性推理是经典软件中令人安心的理想：同一程序在同一输入上应总是产生相同输出。随着大语言模型进入真实部署，这一理想被原封不动地搬入了推理栈。Thinking Machines Lab的近期工作对LLM推理中的非确定性做了细致分析，展示批不变内核与确定性注意力如何强制实现逐位一致的输出，并将确定性推理定位为可复现性与企业可靠性的前提。本文采取相反立场。我们主张，对LLM而言，确定性推理是致命的。它扼杀建模不确定性的能力，压制涌现能力，把推理坍缩成单条脆弱路径，并通过隐藏尾部风险削弱安全对齐。LLM实现的是输出上的条件分布，而非固定函数。把这些分布坍缩为单一规范补全看似令人放心，却系统性地掩盖了人工认知的核心属性。我们转而倡导Stochastic CHAOS，把分布变异性当作应被测量与控制的信号。实证上，我们证明确定性推理具有系统性误导性：单样本确定性评估同时低估能力与脆弱性，掩盖改写与噪声下的失败概率；与涌现能力相关的类相变在贪心解码下消失；多路径推理被迫落到确定性骨干上时会退化，降低准确率与诊断洞见；最后，确定性评估因隐藏仅多样本评估才显现的罕见但危险行为，而低估安全风险。

Stochastic CHAOS：为什么确定性推理是致命的，而分布变异性才是人工认知的心跳 — 图32：风格探索增益随搜索预算的变化。对每个模型 m m，我们绘制在 InstruSum 上当搜索预算 k k 从 1（贪心解码）增加到 32 个样本时的风格探索增益 E G m style ( k ) EG^{\text{style}}_{m}(k)。增益在 k = 2 k{=}2 与 k = 8 k{=}8 之间急剧上升，并在 k ⋆ = 8 k^{\star}{=}8 处基本饱和。较大、较新的模型（如 LLaMA–3 和 Mixtral–8 × \times 22B）达到更高的平台（E G m style ( k ⋆ ) ≈ 0.10 EG^{\text{style}}_{m}(k^{\star})\!\approx\!0.10 – 0.13 0.13），而 Phi–2 等较小的模型则快速饱和且增益较低，表明通过搜索改进指令遵循的余地有限。总体而言，该图说明分布式探索能系统地改善风格/约束满足度，但可获得的增益强烈依赖于具体模型。