论文

分数稳定但答案不稳:视频采帧相位与选项顺序

Stable Scores, Unstable Answers: Frame Phase and Option Order in Video Multiple-Choice Evaluation

模型评测评测方法与指标

摘要

视频语言模型根据统一网格的帧上的多项选择准确性进行排名。网格有两个参数,一个速率和一个相位,基准仅报告速率。相位移动答案:两个部署的采样器仅相差半步相位偏移,在得分在一分之内时回答了 23.6% 的问题,并且在两个系列的四个版本中,在控制选项顺序后,仅相位改变了大约五分之一的答案。 PHASEFUSION 解码三个偏移网格并对选项后验进行平均。网格是致密网格的多相组件。 Fusion 在预先指定的裕度(logit 评分)内匹配 32 帧单遍的准确度,并将所有三个网格变化的半步偏移从 18.2% 削减到 10.1%。选项顺序仅更改表示形式,而是通过一次性答案边距进行标记。在预算中报告阶段惯例,或者将其边缘化。

分数稳定但答案不稳:视频采帧相位与选项顺序:论文原图
图 1:采样阶段改变答案,而不是分数。 (a) 在同一统一 8 帧网格的两个阶段解码的一个 EgoSchema 剪辑,其采样时间绘制在公共轴上(每个阶段显示八个帧中的四个)。每个阶段的所有十个选项排序都是一致的,但他们选择了不同的选项,其中一个选项是错误的。 (b) 两个家庭释放四人。黑条:两个阶段之间不同的共识答案,条形旁边印有每个家庭测量的重新运行底线(InternVL3.5 没有重新运行语料库)。灯条:答案在三个阶段中的任何一个阶段都会发生变化。