DyCon：经演化难度建模的动态推理控制

大型推理模型 (LRM) 的最新进展通过迭代反映、探索和执行复杂任务展示了显着的性能改进，但由于冗余推理（称为“过度思考”）而导致效率低下。现有的缓解此问题的方法要么依赖于静态难度估计，要么需要针对特定​​任务的训练，因此无法适应推理过程中的动态复杂性。在这项工作中，我们凭经验证明问题难度在整个推理过程中动态演变，并在 LRM 的步进级嵌入中线性编码。基于这一见解，我们提出了 DyCon，这是一个免训练的框架，它利用潜在的步骤级表示来显式地建模不断变化的任务难度，从而实现推理深度的动态控制，以减轻过度思考的问题。对从 4B 到 32B 的四种模型以及数学推理、一般问答和编码任务的 12 个基准进行的大量实验表明，DyCon 通过减少冗余步骤而显着提高了推理效率，而不牺牲准确性或泛化性。代码可在 https://github.com/yu-lin-li/DyCon 获取。