你确定你确定吗？论教学调整对置信度和词汇多样性的影响

经过指令调整的语言模型在一系列生成任务中取得了出色的性能，但最近被证明表现出言语上的过度自信，这可能表现为错误答案的支持理由不太多样化。然而，这种过度自信是否与基本原理的一致性相关仍然是一个悬而未决的问题。在本文中，我们研究了生成的答案基本原理的词汇多样性的变化是否伴随着指令调整引起的模型置信度的变化。我们跨问答基准评估了三个匹配的基础模型和指令调整模型，发现指令调整持续增加了答案置信度，尽管预测准确性变化有限，同时降低了基于可能性的校准。其次，我们观察到指令调整对基本原理多样性的非均匀影响：跨基本原理多样性持续下降，而表面层面的词汇多样性在不同模型和基准的方向和幅度上都存在变化。最后，我们发现在控制答案选择和基本原理长度后，这些差异仍然存在，证实置信度和基本原理多样性捕获了指令调整的不同影响。