BiomedCLIP 在四个国际胸部 X 射线队列中的联合 LoRA 适应

联邦学习 (FL) 允许机构在不交换数据的情况下训练共享模型，而低秩适应 (LoRA) 通过仅传输紧凑的低秩更新，使这一方法大规模实用。生物医学成像是这种组合的一个引人注目的设置：患者数据按照隐私法规存档，并且机构在扫描仪、协议和计算方面存在很大差异。这种异构性提出了如何聚合联合 LoRA 更新的问题，随着多模态视觉语言模型成为医学图像分析的核心，这一问题变得越来越紧迫。我们对 BiomedCLIP 的联合参数高效 微调 (PEFT) 进行基准测试，用于三大洲（美国、越南、西班牙）的四个公共队列的胸片分类。与未适应的 BiomedCLIP 主干相比，联合 LoRA 适应提高了所有四个队列的共享类 AUC（平均值为 0.687 至 0.802），这表明收益来自联合适应，而不是来自预训练模型的零样本能力。相对于孤立的单队列训练，联合改进了较弱的队列，同时在很大程度上保留了最强的队列，并接近汇集所有数据的集中参考（0.812）。 FlexLoRA 引入的基于奇异值分解 (SVD) 的乘积空间聚合对于这种增益至关重要（朴素因子平均下降意味着 AUC 下降了 0.097），而漂移校正优化器 (FedProx) 在我们的单种子运行中没有显示出比 FedAvg 更好的优势，这与 LoRA 的低秩更新已经限制了客户端漂移一致。因此，生物医学视觉语言模型可以跨异构、地理分布的机构进行协作调整，而无需集中数据。