表征然后提炼：大输出空间中的机械推理

现代推理模型在具有挑战性的多标签任务上提供了令人惊讶的强大零样本性能，这些任务需要从数十万到数百万个候选标签中选择一小组相关选项。我们研究他们如何机械地实现这一目标。我们将推理描述为一个两阶段的过程：对候选者进行广泛的“入围”，然后对结果集进行细粒度的推理。我们通过一系列数据集提供证据，证明这些步骤可以独立且是互补的。利用这一特征，我们开发了一种机械 蒸馏 策略，其性能始终优于标准 蒸馏。