论文

视频问答的置信度弃答:域内有效,证据退化时仍可能失准

Explicit Abstention Knobs for Predictable Reliability in Video Question Answering

模型评测鲁棒性、公平性与可信度评测

摘要

视觉语言模型(VLM)的高风险部署需要选择性预测:系统在不确定时弃答,而不是冒出现代价高昂错误的风险。我们研究基于置信度的弃答能否为视频问答的错误率提供可靠控制,以及该控制能否在分布偏移下保持稳健。基于 NExT-QA 与 Gemini 2.0 Flash,我们确立两点发现。其一,置信度阈值化在分布内提供了机制性的控制:扫描阈值 ε 可产生平滑的风险—覆盖权衡,在 63.7% 覆盖率下将错误率从 23.6% 降至 9.4%,且预测校准良好(ECE = 0.018)。其二,这种控制并非认知性的。在证据退化(18 帧减至 6 帧)时,模型置信度分布仅小幅收缩:尽管视觉信息减少为原来的三分之一,两种情形下的置信度中位数都保持在 0.9。模型在偏移下并不能"知道自己不知道"。这些结果支持基于证据支撑(warrant)的选择性预测:置信度应被现有证据所能支持的范围显式约束。

视频问答的置信度弃答:域内有效,证据退化时仍可能失准 配图
图 1:示例证据包,展示从一段 76.5 秒视频中提取的 18 帧中的 6 帧。帧的采样既提供宽泛的时间覆盖(均匀采样),又聚焦于中间三分之一(缩放区域)。每帧上方标有时间戳。