论文
剖析多模态大语言模型中的免训练不确定性估计
Dissecting Training-Free Uncertainty Estimation in Multimodal Large Language Models
摘要
多模态大型语言模型 (MLLM) 在广泛的多模态任务中取得了卓越的性能，但尽管它是安全关键应用的核心，但理解和量化其预测不确定性仍然没有得到充分探索。在这项工作中，我们对 MLLM 的免训练不确定性量化策略进行了系统研究，将现有方法分为三个概念族：词元级方法，直接在文本输出空间中运行；语言化方法，通过自然语言提示引发不确定性估计或弃权信号；语义方法，测量语义空间中的不确定性。我们在多个数据集、模型家族、世代和规模上对这些策略进行基准测试，发现没有一个家族占主导地位：词元级熵（采样温度为 1.0）在简短答案上获胜，在句子长度响应上口头放弃，以及在长格式生成上语义方法获胜。