BiG-SURE - LLM 语义不确定性和可靠性估计的二分图

可靠的不确定性估计是在安全关键环境中部署 大语言模型 (LLM) 和视觉语言模型 (VLM) 的关键要求，特别是当模型参数不可访问时（黑盒）。我们提出了 BiG-SURE，一种基于跨温度语义一致性的不确定性估计器。该方法在保留意义的输入转换下将低温响应采样为稳定的语义锚，将高温响应采样为探针。然后，它使用基于 NLI 的蕴含分数构建锚点-探针二分图 (BiG)，并通过该矩阵的归一化平方谱能量定义置信度，不确定性由其补码给出。这种基于二分图的语义不确定性和可靠性估计 (SURE) 分数可衡量高温探测器在语义上是否与模型的稳定低温信念保持一致。我们在跨多个模型系列的文本 QA、多语言 QA 和多模态 QA 任务上评估 BiG-SURE。在这些实验中，BiG-SURE 比之前的黑盒不确定性估计器提高了平均弃权 AUROC，同时保持简单、无监督且适用于黑盒模型设置。