模型一致性的研究：重采样下窄微调自相矛盾

大量研究根据输出方差来衡量模型的一致性，而没有充分考虑竞争原因。我们确定了两个这样的原因：模糊性和冷漠，并引入了一组 175 个问题，其中任何一个都无法轻易解释相互矛盾的答案。然后，当我们对同一问题的答案进行重新采样时，我们会根据矛盾来衡量不连贯性。与其他方法相比，我们的指标具有很高的特异性，并且仅在问题明显时才将模型列为不连贯。即便如此，我们发现狭窄的微调得分很低。检查我们的方法标记的不一致之处，我们发现文献中的模型生物表现出严重的问题，例如身份混淆、内省失败和合理化。这些发现表明，狭窄的微调引起的病理可能会限制这些模型可以告诉我们有关连贯失调行为的信息。