论文
SCoOP：面向多视觉语言模型系统不确定性量化的语义一致意见池化
SCoOP: Semantic Consistent Opinion Pooling for Uncertainty Quantification in Multiple Vision-Language Model Systems
摘要
组合多个视觉语言模型 (VLM) 可以增强多模态推理和鲁棒性，但聚合异构模型的输出会放大不确定性并增加产生幻觉的风险。我们提出了 SCoOP（语义一致意见池），这是一种通过不确定性加权线性意见池的免训练不确定性量化（UQ）框架多 VLM 系统。与之前为单一模型设计的 UQ 方法不同，SCoOP 明确测量多个 VLM 中的集体系统级不确定性，从而能够有效检测幻觉并排除高度不确定的样本。在 ScienceQA 上，SCoOP 的幻觉检测 AUROC 为 0.866，比基线 (0.732-0.757) 高出约 10-13%。对于弃权，其 AURAC 为 0.907，超出基线 (0.818-0.840) 7-9%。尽管取得了这些进展，SCoOP 相对于基线仅引入了微秒级的聚合开销，这与典型的 VLM 推理时间（秒级）相比是微不足道的。这些结果表明，SCoOP 为不确定性感知聚合提供了一种高效且有原则的机制，从而提高了多模态 AI 系统的可靠性。
