论文
REKEY:基于元数据的视觉密钥再生,用于抗污染 VQA 评估
REKEY: Metadata-Grounded Visual-Key Regeneration for Contamination-Resilient VQA Evaluation
摘要
静态视觉问答(VQA)基准很快就会老化:一旦项目泄漏到训练语料库中,分数就可以反映记忆而不是真正的视觉能力,从而掩盖真正的进步。重建 V*Bench 等高质量基准测试需要大量人工注释,但每个静态版本都可能很快成为另一个泄露的工件。我们提出了 ReKey,一种实时基准协议,可在评估时随机重新生成真实图像中包含答案的局部细节或视觉密钥。使用经过人工验证的编辑槽,ReKey 对具有新答案、基于构建的标签和受控视觉搜索难度的新实例进行采样。在 V*Bench 上,ReKey 重新生成的基准测试显示,八个前沿视觉语言模型 (VLM) 的得分大幅跃升:原始项目的得分比重新生成的变体高出 9.5--18.8 个百分点。通过使视觉密钥可更新,ReKey 可以随着模型和训练数据的发展而保持评估的新鲜度。