推理干预与推理长度观察对模型一致性给出相反信号

语言模型面临两个相反的问题：模型同质化，即不同模型出现相关错误；以及决策多解性，即准确率相同的模型做出相互冲突的决策。推理模型的兴起使这场争论变得复杂：一方面，如果模型锚定相同的显著特征或遵循相似的推理路径，推理可能会增加模型一致性。另一方面，随机推理轨迹可能会引入额外的分支点，从而导致更多样化的预测。我们通过区分作为干预的推理和作为观察到的行为的推理来解决这种紧张关系。我们将受控调整推理投入时的模型一致性与按实际推理长度观察到的模型一致性进行比较，并根据模型准确性预期的一致性来衡量两者。在来自两家开发者的九个模型和三个分类任务中，启用推理可以提高在同一个体上评估的模型之间的一致性。然而，使模型产生较长推理轨迹的样本在不同模型中得到的预测不太一致。在考虑了准确性差异后，这两种模式仍然存在。因此，要求模型进行更多推理可以促进共识，而观察模型的推理轨迹更长则表明存在分歧。