论文
CtrlCoT:面向可控推理的双粒度思维链压缩
CtrlCoT: Dual-Granularity Chain-of-Thought Compression for Controllable Reasoning
摘要
思维链(CoT)提示提升LLM推理能力,但冗长轨迹带来高延迟和内存成本,促使人们研究在保持正确性的前提下压缩CoT。现有方法要么在语义层面缩短CoT(通常较为保守),要么激进剪除token(可能遗漏任务关键线索并降低准确率)。此外,由于顺序依赖、任务无关剪枝和分布失配,将二者结合并非易事。我们提出CtrlCoT,一个双粒度CoT压缩框架,通过三个组件协调语义抽象与token级剪枝:分层推理抽象在多个语义粒度上生成CoT;保逻辑蒸馏训练逻辑感知的剪枝器,在各剪枝比例下保留不可或缺的推理线索(如数字和运算符);分布对齐生成使压缩轨迹与流畅的推理时推理风格对齐以避免碎片化。在使用Qwen2.5-7B-Instruct的MATH-500上,CtrlCoT少用30.7%的token,同时比最强基线高7.6个百分点,展示出更高效可靠的推理。代码将公开发布于 https://github.com/fanzhenxuan/Ctrl-CoT。
