论文
支架介导的 后训练:协同演化模型参数和程序支架图
Scaffold-Mediated Post-Training: Co-Evolving Model Parameters and Procedural Scaffold Graphs
摘要
大语言模型 的 后训练 仅优化参数,而推理时间程序支架通常独立于参数训练进行设计。这种脱节使得自动获取和内化复杂策略变得困难。我们提出支架介导的 后训练:程序支架被组织成可进化的图结构,通过发现、蒸馏 和动态重新编译与模型参数共同进化。我们将这种范例实例化为技能训练。在FeatureBench上,自动发现的技能将通过率提高了8.1pp,并且在渐进式蒸馏之后,模型在没有任何外部支架的情况下仍然达到了27.7%的通过率(蒸馏保留率85.2%,定义为蒸馏后/有技能通过率),在相同数据上显着优于标准SFT。