揭秘大型推理模型中用于思想链压缩的基于熵的选择

基于熵的剪枝已被提出作为压缩思想链（CoT）推理的有效方法，并且精度损失可以忽略不计。我们在各种模型和推理任务中测试了低熵和高熵 CoT 步骤选择方法的稳健性，结果表明，在任何评估的设置中，熵与随机剪枝相比没有任何优势。从句子到标记，我们发现保留低熵标记似乎仅在数学基准上有效。我们发现这是由于数字标记固有的低熵性质，它也在此类问题中传达语义内容。最后，我们证明，用原始激活修补一些 CoT 词元的子集可以恢复近乎完美的全跟踪性能，提供因果证据表明任务信息并不集中在可通过启发式识别的一小组 CoT 词元中，而是分布在整个推理链中。