在迭代指令调优中从合成数据中学习而不导致模型崩溃

模型崩溃是从合成数据中学习的一个核心挑战：随着新一代 大语言模型 (LLM) 接受越来越多的模型生成数据的训练，性能可能会因覆盖范围缩小和累积偏差而下降。现有的工作主要研究如何限制这种退化。然而，在迭代模型演化中，更有意义的目标是确保每个后续模型都比其前任模型有所改进，这需要以可用于数据管理的粒度诊断崩溃。我们在指令调整的合成数据自我改进中研究这个问题。我们表明，这种情况下的崩溃不仅仅是均匀的性能下降，而且可能表现为能力的两极分化，其中综合训练强化了已经很强的技能，同时进一步降低了较弱的技能。受这一观察的启发，我们提出了 KITE（通过探索进行知识边界指令调整），这是一个两阶段框架，它将故障引导数据生成与边界感知不确定性管理相结合。跨多个数据集和多个开源 LLM 的实验表明，KITE 比强大的合成数据基线产生更稳定的改进。