HEST：熵训练的双曲探针稀疏激活引导

大语言模型解数学题时其推理基本是分层的，解常在少数下一词元熵较高的token处分支。这种树状结构在双曲空间中的嵌入失真远低于欧氏空间。而激活引导通常在每个token加同一个固定欧氏向量来编辑预训练模型隐状态，尽管解的大多数token已由上下文决定。我们提出双曲熵引导（HEST）：用轻量探针把隐状态嵌入Poincaré球，探针的唯一标签是模型自身的下一词元熵；在熵超过阈值处，HEST沿探针读出的最陡下降测地线移动嵌入状态并映射回隐状态。对学到的理想点的Busemann读出，我们证明固定长度的步使每个状态降低相同量。在Qwen2.5-Math与Llama-3.1族的三个指令微调模型上，采用Busemann读出的HEST在六设置中的五个提升MATH-500与GSM8K贪心准确率最高1.8点，而每token加对比转向向量反而降低准确率；同法训练的欧氏探针在Qwen2.5-Math-1.5B-Instruct上增益消失。增益在模型常犹豫的题目上最大，其余题目准确率几乎不变。