风格还是签名？冻结视觉嵌入中风格分类的艺术家不相交评估

来自 CLIP 等模型的冻结图像嵌入越来越多地用于按艺术史风格对绘画进行分类，并且报告的准确性很高。我们询问这种准确性是否反映了对风格的理解或对个别艺术家的认可。标准评估使用随机分割，其中同一艺术家的作品出现在两侧，因此分类器可以通过识别画家而不是动作来成功。我们根据艺术家不相交的协议重新评估风格分类，依次提供每位艺术家，这样就不会使用自己画家的其他作品对任何作品进行分类。在涵盖 20 世纪四个运动的 320 幅绘画的平衡数据集上，在该协议下，5-NN 风格的准确率从 0.87 下降到 0.77，并且下降幅度非常不均匀。印象派和立体派几乎没有变化，而超现实主义则下降了二十个百分点。该模式适用于四个图像编码器，包括仅视觉的自我监督模型，该模型将效果置于视觉结构而不是语言中。当编码器捕捉到真正的共享形式时，个别艺术家几乎难以辨认，但风格却很强大，而超现实主义则表现出相反的情况。我们认为，艺术家不相交的评估对于衡量冻结嵌入中的风格理解是必要的。