通过播放色调和提示来实现人类与人工智能的感知一致

评估对比视觉语言模型 (CVLM) 和人类之间的感知一致性通常受到传统基准的限制，而这些基准忽略了细粒度​​的语义和文化细微差别。在这项工作中，我们提出了一种新颖的评估框架，该框架利用棋盘游戏色调和提示的游戏化、离散色彩空间。通过将板的 480 个颜色单元映射到 CIE xy 色度图，我们计算了跨越七个语义类别的精心策划的 100 个单词词汇的经验感知距离。为了正确地结合模型性能，我们建立了预期误差的经验下限，即人类一致性基线，通过留一法 (LOO) 交叉验证对通过自定义数字界面从 325 名人类观察者收集的密集颜色关联数据集进行计算。我们评估了多个架构系列和 预训练 数据集的 162 个模型，以评估它们的语义色彩基础。我们的结果表明，虽然 CVLM 成功复制了人类的认知偏差，例如具体物理对象（例如食物和植物）的理想化记忆颜色，但它们在抽象、主观和流行文化领域系统地偏离了人类基线。我们在严重错位的概念中识别出两种不同的故障模式：语义错误分类和系统不确定性崩溃到默认的蓝色坐标。此外，我们发现，在减轻这些严重的偏差方面，精心策划的 预训练 数据集比大量未经策划的语料库要有效得多。最终，这项工作强调，尽管当前的 CVLM 具有广泛的分类能力，但仍然无法捕获人类颜色记忆的细微差别、局部共识，强调了游戏化任务在暴露潜在模型偏差方面的价值。数据和代码可公开用于测试其他指标。