论文

思维链熵衡量什么:连接表达、路由与内容的通道审计

What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content

模型评测模型行为与机制分析

摘要

思想链词元上的熵决定了哪些词元接收策略梯度,哪些被修剪,以及运行是否崩溃,但每个这样的统计数据读取混合三个选择的下一个词元分布:是否发出连接脚手架,哪个连接,以及实质性延续应该是什么。指定支架词汇子集准确地将熵、Kullback-Leibler 散度和 softmax 策略的一阶熵速度这三者分开。我们证明原始惯例和内容惯例对于明确的开放区域上哪个位置是更大的分叉存在分歧,并且通过内容渠道加上经过测量的见证人证明的泄漏项来约束答案多样性。在 23 种配置中,支架侧承载高达 41% 的原始高熵集;在匹配标记器阶梯上,耦合仅在数学语料库步骤中发生变化,而支架的熵份额通过蒸馏不断增长;来自一个通道相关性的封闭式预测跟踪 54 点至 5 点(未拟合)范围内的选择保留。在压缩方面,内容惯例胜过每个单元中的原始惊喜;然后,答案泄漏审计会纠正我们自己的标题控制:重新馈送的链从重述的答案中获得四分之一到一半的准确性,并且一旦被剥夺,没有词元记分器能够击败随机的连续区块。