论文

作为可靠性信号的思想链熵:预先注册的再现

Chain-of-Thought Entropy as a Reliability Signal: A Preregistered Reproduction

模型评测鲁棒性、公平性与可信度评测

摘要

这项实证研究是赵在 2026 年报道的分离的独立再现。大型语言模型的思想链熵轨迹的形状可以预测最终答案是否正确,而其总熵下降的幅度则不能。这种解离值得复制,因为半量级取决于一个模型在一个种子上运行的 300 个问题,而半形性是在两个基准和第二个模型系列上以全尺寸报告的。在任何验证运行之前,该复制品都会在 OSF 注册,它跨越了完整的 GSM8K 和 MATH-500 基准测试集,具有四个开放权重模型,其中包括一个原始模型未测试的推理蒸馏模型。形状信号被复制。幅度信号按设置划分。在锚模型上,单调链和非单调链之间的准确率差距在 GSM8K 上为 +9.6 个百分点,在 MATH-500 上为 +27.5 个百分点,而总熵下降与正确性的等级相关性在 GSM8K 上为 -0.018,在 MATH-500 上为 +0.414。在推理蒸馏模型上,形状信号的二进制形式在大约百分之一的链上触发,太少而无法估计记录的对比度,而分级违规计数仍然可以预测。在探索性比较中,仅最后一步熵在 ROC 区域的所有八个模型基准单元中优于二元形状标志,在原始报告的风险覆盖区域中的六或七个单元中优于二元形状标志,具体取决于原始未说明的积分范围。该研究贡献了在七个记录的协议差异下在完整测试集范围内再现形状信号、幅度信号保持和失败的设置图以及原始未报告的四个协议依赖性的测量。