论文
EntroCut:面向小规模大推理模型高效思维链推理的熵引导自适应截断
EntroCut: Entropy-Guided Adaptive Truncation for Efficient Chain-of-Thought Reasoning in Small-scale Large Reasoning Models
摘要
大型推理模型(LRM)通过扩展思维链生成在复杂推理任务上表现出色,但其对冗长中间步骤的依赖带来高昂计算成本。我们发现,模型输出分布在早期推理步骤的熵能可靠区分正确与错误推理。受此启发,我们提出EntroCut,一种免训练方法,通过识别可安全终止推理的高置信状态来动态截断推理。为全面评估效率与准确率之间的权衡,我们提出效率-性能比(EPR),一个量化每单位准确率损失的相对token节省的统一指标。在四个基准上的实验表明,EntroCut最多减少40%的token使用,准确率牺牲极小,与现有免训练方法相比取得更优的效率-性能权衡。这些结果表明,熵引导的动态截断为缓解LRM的低效提供了实用途径。
