通过最佳传输语义流连接视觉和语言概念

概念瓶颈模型 (CBM) 通过人类可解释的概念进行预测，承诺透明推理，但其有效性从根本上取决于视觉和文本表示的对齐或匹配程度。现有的视觉语言 CBM 通常依赖于预对齐编码器或全局余弦相似性，这模糊了细粒度概念本地化，并且无法反映真实的语义几何。在这项工作中，我们重新思考概念对齐作为动态跨模式运输过程而不是静态投影，并提出了最佳运输流概念瓶颈模型（OTF-CBM）。它首先通过逆向最优传输学习数据驱动的语义成本来测量跨模式距离，然后执行不平衡的基于最优传输的流匹配来建模视觉块和文本概念之间的语义转换。通过基于速度的概念激活，OTF-CBM 无需 ODE 积分即可捕获可解释的几何关系。实验进一步表明，OTF-CBM 实现了卓越的分类精度和概念 忠实性，为可解释的跨模态推理提供了新的几何和动力学视角。