通过推理空间压缩的结构原理 蒸馏

当将 大语言模型 (LLM) 的推理提炼为更小的推理时，教师对类似问题的基本原理在结构和策略上往往有很大差异。就像厨师每次都会以不同的方式制作同一道菜一样，这种不一致给学生带来了难以内化的嘈杂监督的负担。我们通过推理路径压缩（D-RPC）提出 蒸馏，它限制教师遵循紧凑的、动态维护的可重用高级推理路径库。对于每个训练问题，D-RPC 都会检索最相关的路径，并要求教师遵循该路径，从而产生在类似问题中一致的基本原理，但又足够多样化以涵盖不同的问题类型。 PAC-贝叶斯分析正式化了银行规模和覆盖范围之间的权衡：较小的银行减少了监管熵，但风险覆盖范围存在差距，并且泛化界限确定了我们的消融所确认的最佳中间规模。在使用两个学生模型的五个数学和常识推理基准中，D-RPC 始终优于思想链 蒸馏、自由形式基本原理生成、直接 蒸馏 和结构化监督基线，同时使用比模板密集型替代方案更少的标记。