不要通过训练消除不确定性：早期的不确定性锚定校准

Deep neural networks, including large language models, have achieved remarkable performance across various tasks. However, they are prone to overconfidence during training or fine-tuning.在这项工作中，我们观察到不同模型之间存在一个一致的现象，即早期模型校准得更好，而后期的训练或微调会产生边际精度增益，但会大大增加校准误差。我们的分析表明，早期模型在其预测和特征中保留了不确定性意识，但随着继续训练，这种意识逐渐消失。为了避免训练消除这种不确定性意识，我们提出了 \textbf{EUA-Cal}，这是一种利用 \textbf{E}arly 模型作为 \textbf{U}certainty \textbf{A}nchor 进行 \textbf{Cal}ibration 的新颖方法。 EUA-Cal 引入了早期预测正则化以保留早期预测不确定性，并引入原型结构正则化以利用早期特征空间中反映的不确定性，共同缓解过度自信。 Extensive experiments on image classification and multiple-choice question answering 八种不同模型的测试表明 EUA-Cal 的性能优于最先进的校准方法。