视觉语言表示学习中的动态分布感知不确定性跟踪

不确定性量化（UQ）旨在衡量模型预测的可靠性，作为在安全关键场景中部署视觉语言模型（VLM）的关键保障。事后方法因其轻量级性质而被广泛采用，通过可学习模块或归纳总结将 VLM 的输出映射到不确定性度量。然而，事后方法本质上仍然局限于拟合源域的故障模式，而忽略了测试分布的动态性质。为了应对这一挑战，我们提出了动态分布感知不确定性量化框架（DDA-UQ），该框架将范式从静态映射转变为动态分布感知过程。在训练过程中，我们利用高斯混合模型对 VVLM 的嵌入空间进行建模并提取分布证据，从而动态导出不确定性估计。在推理过程中，设计动态响应数据分布的变化。大量的实验表明，我们的方法明显优于最先进的方法。