测试时的 AI4AI：通过Harness从强到弱的能力转移

最近关于 蒸馏 的工作通常通过教师强制、同策略 蒸馏 和相关的训练时间方法来更新后者的参数，从而将大型模型的功能转移到较小的模型上。在本文中，我们询问这种转移是否可以在测试时发生。我们研究从强到弱的脚手架：更强的构建器模型是否可以构建推理时间工具，帮助较弱的目标模型更可靠地解决任务，而无需任何参数更新。使用四个代表性的心理理论基准，每个构建器模型使用 5% 的数据作为验证集，在多轮中迭代地完善其工具，之后在完整的测试集上评估最终的工具。根据经验，这种形式的测试时能力转移非常有效，几乎使平均目标模型性能从 0.49 提高了一倍到 0.91。我们的分析表明，收益主要来自将不稳定的模型推理转移到确定性代码、特定于基准的路由和严格的答案格式执行，而不是来自鼓励目标模型进行更广泛的推理或更广泛的采样。我们进一步发现，构建器模型推理工作单调地提高了Harness质量，相对于构建器模型自身的能力，平台效应是适度的，而较弱的目标模型获得了最大的收益。这些结果表明，推理时间工具设计是对传统训练时间 蒸馏 的重要补充，使强模型能够将认知结构转移到较弱的模型，而无需重新训练。