当少就足够时：通过协作推理进行有效推理

在这项工作中，我们引入了 DUET（双模型高效两阶段推理），这是一种协作推理框架，其中有能力的模型和轻量级模型一起工作来解决任务。依靠单个大型模型来执行端到端推理和预测通常会产生大量推理成本。相比之下，DUET 将推理分解为两个阶段：有能力的模型产生推理信号，轻量级模型解释该信号以生成最终答案，从而允许有能力的模型处理推理密集型计算，而非推理密集型组件则委托给轻量级模型，而不会牺牲任务性能。为了实现这一目标，我们提出了一个长度惩罚联合训练目标，鼓励有能力的模型仅传输足以让轻量级模型解决任务的信息。因此，DUET 保持了强大的推理性能，并且推理成本远低于单独使用大型模型的端到端推理，在具有挑战性的推理基准（包括 AIME 和 GPQA）上节省了高达 60% 的大型模型输出词元。