SEA：通过元素级常识性视觉问答评估草图抽象效率

草图是视觉抽象的一种提炼形式，它通过简化但有目的的笔画传达核心概念，同时省略无关的细节。尽管具有表达能力，但量化草图中语义抽象的效率仍然具有挑战性。现有的依赖于参考图像、底层视觉特征或识别准确性的评估方法无法捕捉抽象，即草图的定义属性。为了解决这些限制，我们引入了 SEA（抽象效率草图评估指标），这是一种无参考指标，用于评估草图如何经济地表示类定义视觉元素，同时保留语义可识别性。这些元素是根据草图中通常描绘的特征的常识知识派生出来的。 SEA 利用视觉问答模型来确定每个元素的存在，并返回反映视觉经济下语义保留的定量分数。为了支持这一指标，我们提出了 CommonSketch，这是第一个语义注​​释的草图数据集，包含 300 个类别的 23,100 个人类绘制的草图，每个草图都配有描述和元素级注释。实验表明，SEA 与人类的判断紧密结合，并可靠地区分抽象效率的级别，而 CommonSketch 则作为基准，提供跨各种视觉语言模型的元素级草图理解的系统评估。