LLM通用文本教学

知识蒸馏（KD）将知识从较强的 Teacher 模型转移到较弱的 Student 模型，但大多数方法需要训练 Student 参数，从而将蒸馏的知识绑定到特定的架构和检查点。这种隐式表示很难解释或跨模型重用，并且限制了仅 API 或训练成本高昂的模型的 KD。本文研究大型语言模型（LLM）的知识迁移。我们引入了通用文本教学（UTT），这是一个无需参数更新的框架，可将观察到的师生知识差距提炼成文本、可解释且可重用的自然语言工件，称为 Primer。具体来说，UTT首先通过配对评估识别代表性差距案例，并通过多角色交互迭代更新入门：学生尝试每项任务，提示器将评估反馈转化为教学指令，教师提供有针对性的演示，合成器巩固经过验证的课程。根据经验，关于具有挑战性的数学 (Omni-MATH-2) 和代码生成 (KernelBench) 任务中，大量结果证实了该方法的有效性：UTT 在 KernelBench 上将 Student 的准确率从 9.4% 显着提高到 48.6%，将 Fast1 的准确率从 9% 提高到 35%，同时将数学推理的准确率从 27.6% 提高到 51.7%。 UTT 的性能也优于代表性的即时工程和基于参数的 KD 方法。值得注意的是，UTT 被证明可以在不同的教师和学生中推广：为一对师生合成的引物可以推广到不参与合成的其他学生。