K2P：无标签知识促进蒸馏

知识蒸馏可以通过可重复使用的提示将推理从更强大的教师转移到冻结的学生，但避免权重更新并不能消除监督。如果没有真实的答案，教师的解决方案就未经验证，与教师的一致可以奖励共同的错误。我们引入知识到提示（K2P），用于无标签知识蒸馏到提示。 K2P 综合教师解决方案中的可重用指令，使用配对的教师和学生响应对其进行细化，并通过答案一致性来指导搜索和选择。它保留自适应搜索可能低估的候选人并选择保留的问题。部署仅使用冻结的学生和选定的提示。我们的理论将生成差距和选择差距分开，并给出了在教师参考资料不完善的情况下，协议引导的构建能够产生准确性保证的条件。在推理任务和学生中，K2P 总体优于无标签替代方案，并且在监督提示优化方面保持竞争力。消融和档案诊断评估教师解决方案和改进的贡献，同时揭示协议指导选择的局限性。