BioVLM：用于生物医学 VLM 中跨模态泛化的路由提示，而不是参数

像 BioMedCLIP 这样的预训练生物医学视觉语言模型 (VLM) 平均表现良好，但在具有挑战性的模态上常常会性能下降，在这些模态中，类间差距很小，并且特定于采集的差异很明显，特别是在少数样本监督下以及当模态先验与预训练语料库存在很大差异时。我们提出了 BioVLM，这是一个即时学习框架，可以在没有广泛骨干 微调 的情况下提高跨域泛化能力。 BioVLM 学习多样化的提示库并引入动态提示选择：对于每个输入，它通过预测分布的低熵标准选择最具辨别力的提示，有效地将稀疏的少样本证据与丰富的 LLM 语义先验耦合起来。为了加强这种耦合，我们提炼出高可信度的 LLM 派生属性，并通过强/弱增强一致性来强制进行稳健的知识转移。在测试时，BioVLM 通过选择适合模态的提示进行调整，从而能够转移到未见过的类别和领域，同时保持训练轻量级和推理高效。在 11 个 MedMNIST+ 2D 数据集上，BioVLM 在三种不同的泛化设置中实现了最新技术水平。代码可在 https://github.com/mainaksingha01/BioVLM 获取。