论文

LaGuadia:来自病理学基础模型的语言引导自适应 蒸馏

LaGuadia: Language-Guided Adaptive Distillation from Pathology Foundation Models

摘要

病理学基础模型 (PFM) 提供强大的全切片图像 (WSI) 表示,但面临巨大的计算成本。虽然 知识蒸馏 (KD) 可以创建高效的学生模型,但现有的多教师方法通常使用忽略组织异质性的次优均匀加权。我们提出了 LaGuadia(语言引导自适应 蒸馏),这是一个框架,通过在临床语言指导下动态集成来自多个 PFM 的专业知识来开发紧凑的病理图像编码器。我们的方法采用多阶段流程:首先,从病理报告中提取视觉可观察的临床关键词;其次,通过视觉语言元教师(MedSigLIP)将视觉特征与这些关键词对齐,以提供密集的语义指导;最后,执行自适应 KD,其中教师的贡献根据其与临床叙述的语义一致性进行加权。 WSI 字幕、视觉问答和幻灯片级分类任务的实验表明,87M 参数的 LaGuadia 学生模型匹配或超过了 GigaPath 和 UNI 等基础规模模型,实现了强大的事实一致性和鲁棒的泛化能力。这些结果强调临床语言是构建高效可靠的数字病理系统的有效语义锚。代码可在 https://github.com/hvcl/LaGuadia 获取。