跨站点可解释皮肤科图像诊断的开放语言概念统一学习

人类可解释的计算机辅助诊断对于临床决策至关重要。基于概念的模型的优点在于提供透明的推理并支持事后临床医生现场干预。然而，它们严格的数据集特定适应性本质上限制了跨站点泛化。由于不同群体之间的异构概念分类法在可用性、粒度和语义方面存在差异，因此将它们应用于不同的模式（例如皮肤镜和临床照片）具有挑战性。因此，适应基础视觉语言模型 (FVLM) 需要昂贵的标签工程和重复的 后训练。现有的干预机制仍然严格依赖于预定义的概念，缺乏适应性并阻碍了可扩展的皮肤科 CAD 部署。为了解决这些瓶颈，我们提出了 UniCon，一种用于多模态可解释视觉语言诊断的开放语言统一概念学习框架。 UniCon 通过三个贡献解决了这些挑战：（1）通过统一的概念原型代码本共享语义表示空间，跨模态无缝协调异构概念系统，无需特定于数据集的再训练。 （2）基于开放语言的多方面语义规范，克服稀疏文本标签的限制，提高不确定临床环境中的边界敏感性。 (3) 强大的、跨站点可调节的干预界面，由可靠性门控瓶颈聚合提供支持，实现一致的推理和可转移的临床医生纠正。大量实验表明，除了确保顶级诊断准确性之外，UniCon 还成功地连接了不同的临床分类法，释放了前所未有的跨站点干预能力。代码可在 https://github.com/wu Chengyu123/UniCon 获取。