LoRi：用于隐式推理的低秩 蒸馏

隐式思维链 (iCoT) 方法旨在内化 大语言模型 中的推理，但通常表现不如显式 CoT 提示。我们凭经验发现隐藏状态推理轨迹表现出低秩结构。受这一观察的启发，我们提出了一个低秩 蒸馏 框架，该框架通过使用一阶和二阶统计在共享低秩张量子空间中对齐教师和学生轨迹来传输推理。由此产生的公式捕获了推理的全局结构，同时支持紧凑的潜在推理过程。我们在数学推理基准的不同尺度上跨多个模型系列（包括 LLaMA 和 Qwen）评估该方法。我们的方法不断提高性能，特别是在具有挑战性的多步骤任务上，接近明确的 CoT 准确性并优于先前的 iCoT 蒸馏 方法。