多模式概念瓶颈模型

概念瓶颈模型 (CBM) 通过将从图像中提取的特征与自然概念对齐来增强深度学习网络的可解释性。然而，现有的 CBM 的泛化能力受到限制，超出了一组固定的预定义类别，并且存在非概念信息泄漏的风险，其中预期概念之外的预测信号被无意中利用。在本文中，我们提出多模态概念瓶颈模型（MM-CBM）来解决这些问题并将 CBM 扩展到 CLIP 中。 MM-CBM 利用双概念瓶颈层 (CBL) 将图像和文本嵌入对齐到可解释的特征中。这使我们能够以可解释的方式执行新的视觉任务，例如零样本分类或图像检索。与现有方法相比，MM-CBM 在四个标准基准测试中平均准确率提高了 51.26%。我们的方法保持高精度，保持在黑盒性能的 5% 以内，同时提供更高的可解释性。