论文
分数稳定但答案不稳:视频采帧相位与选项顺序
Stable Scores, Unstable Answers: Frame Phase and Option Order in Video Multiple-Choice Evaluation
摘要
视频语言模型根据统一网格的帧上的多项选择准确性进行排名。网格有两个参数,一个速率和一个相位,基准仅报告速率。相位移动答案:两个部署的采样器仅相差半步相位偏移,在得分在一分之内时回答了 23.6% 的问题,并且在两个系列的四个版本中,在控制选项顺序后,仅相位改变了大约五分之一的答案。 PHASEFUSION 解码三个偏移网格并对选项后验进行平均。网格是致密网格的多相组件。 Fusion 在预先指定的裕度(logit 评分)内匹配 32 帧单遍的准确度,并将所有三个网格变化的半步偏移从 18.2% 削减到 10.1%。选项顺序仅更改表示形式,而是通过一次性答案边距进行标记。在预算中报告阶段惯例,或者将其边缘化。
