SupportCal：通过参考支持和佐证对训练后的大语言模型进行无标签校准

后训练通常可以提高任务性能，但会降低置信度校准，使后训练语言模型 (PoLM) 比相应的预训练语言模型 (PLM) 更加过度自信。由于特定于任务的标记校准数据可能成本高昂或无法获得，因此相应的预训练 PLM 为事后校准提供了自然的无标记参考。先前的协议门控 PLM 参考校准仅使用 PoLM 及其 PLM 参考一致的示例来拟合标量温度，排除不一致的示例，因为直接对齐可能导致拟合温度过高并导致置信度不足。我们重新审视这种二元处理。受控的重新引入诊断揭示了非单调的总体效应：承认适度比例的分歧示例可以改善校准，而随着单位重量包含接近完整的分歧集，好处会减少。我们引入了 SupportCal，这是一种无标签事后方法，它保留单位权重的一致示例，并根据自有基础 PLM 的相对支持和从大小兼容的候选池中选择的预训练参考的验证来分配不一致示例连续权重。我们进一步描述了所得到的加权目标何时承认有限的最佳温度。在 MedMCQA 和 MathQA 中，对于几乎所有评估的目标模型配置，SupportCal 产生的 ECE 低于仅协议基线；补充 TweetEval 情绪结果在固定标签分类任务上显示出相同的模式。