基于概念的可解释性中评估零样本图像生成的框架

基于概念的可解释人工智能（XAI）通过将内部表示与类预测联系起来，使用人类可理解的视觉特征（例如纹理或物体部分）来解释深度学习模型，从而弥合低级图像数据和高级语义之间的差距。然而，一个主要挑战是依赖大量标记图像来表示每个概念，这限制了可扩展性。在这项工作中，我们研究了使用零样本文本到图像 (T2I) 生成模型作为基于概念的 XAI 方法的合成概念数据集的来源。具体来说，我们使用预定义的提示生成概念，并通过四种互补分析将其 忠实性 与真实概念进行评估：（1）通过概念表示相似性比较合成与真实概念图像； （2）通过比较大小逐渐增加的相同概念的子集对来评估它们的内部相似性； （3）使用相关类图像评估其下游解释任务的表现； (4) 评估从测试类图像中删除概念如何影响生成概念的解释。虽然当前的 T2I 生成模型有望成为基于概念的 XAI 的捷径，但我们的研究强调了挑战，并提出了有关在模型分析中使用零样本管道生成的合成数据的开放性问题。生成的数据集可在 https://github.com/DataSciencePolimi/ZeroShot-T2I-Concepts 上获取。