提炼哪种技能？ SGUID：为模型技能协同进化选择紧凑的技能库

技能，即在推理时添加的可重复使用的程序指导，可以显着提高 LLM 下游性能（Li et al., 2026）。之前的工作通过语义相关性从银行检索技能，然后将它们用作推理时间补丁或用于模型蒸馏。然而，每种技能的个人效用在很大程度上被忽视了。我们首先表明，在以技能为条件的策略充当教师的在策略蒸馏中，检索到的技能中只有不到 25% 提供有用的蒸馏信号。然后，我们提出了 SGUID，一种选择精炼技能的紧凑子集的方法。只有在训练期间持续产生有效的学习信号时，SGUID 才能保留技能。然后对选定的技能进行提炼以产生更好的模型。我们的结果表明，并非所有技能都值得提炼。在 Olmo 和 Qwen 系列的四个模型中，在四个模型中的三个模型上，在平均 avg@12 上，提取 6 个选定的技能匹配或超过全库蒸馏，并且在第二轮提取 3 个新选择的技能后，在所有四个模型上，而全库最多增加 11 倍。 重要的是，SGUID 支持稳定的模型技能协同进化：在一轮蒸馏之后，从更新模型的推出中策划一个新的候选库，SGUID 选择下一步要内化的技能。第二轮，这个循环选择了3个新技能，将Qwen3-8B从64.3%提高到66.3%。选择步骤对于稳定性至关重要：在 Qwen3-4B 上，使用未经过滤的技能天真地更新模型会降低性能，包括在 HMMT25 上下降 0.3 个百分点，而 SGUID 在第一轮后将 HMMT25 提高 0.5 个百分点，在第二轮后提高 1.1 个百分点。这些结果将技能选择确定为稳定模型技能协同进化的关键机制。