论文
CIRF：将思想链标记为可重用的功能单元，以实现 大语言模型 中的高效潜在推理
CIRF: Tokenizing Chain-of-Thoughts into Reusable Functional Units for Efficient Latent Reasoning in Large Language Models
摘要
隐式思维链 (CoT) 通过内化显式基本原理来降低 大语言模型 的推理成本。然而，现有的方法通常缺乏与明确原理的一致性以及对示例复杂性的适应性。在这项工作中，我们提出了 CIRF（\textit{\underline{C}hain-of-thoughts \underline{I}nto \underline{R}eusable \underline{F}unctionalunits}），这是一个隐式 CoT 框架，它作为离散功能标记的动态序列执行推理。 CIRF 为显式 CoT 跟踪中的每个语义连贯推理单元分配一个功能词元。然后对模型进行微调，以自回归方式生成功能标记及其可选结果，然后得出最终答案。这种设计将潜在推理与一系列功能单元结合起来，促进并行训练、明确的基本原理对齐和自适应推理。对数学、符号和常识推理基准的大量实验表明，与最先进的隐式 CoT 方法相比，CIRF 提供了有利的准确性与延迟权衡。进一步的分析表明，CIRF 构建了独特的、可解释的功能词元，从而实现了一致的性能改进。