论文
协同判别范例和自我提炼经验，实现基于 MLLM 的医学诊断情境学习
Synergizing Discriminative Exemplars and Self-Refined Experience for MLLM-based In-Context Learning in Medical Diagnosis
摘要
通用多模态 大语言模型 (MLLM) 在捕获医学诊断中特定领域的细微差别方面通常表现不佳，落后于完全监督的基线。尽管微调提供了补救措施，但专家注释的高成本和大量的计算开销限制了其可扩展性。为了弥补这一差距而不更新 MLLM 预训练主干的权重，我们提出了临床医生模拟工作流程。这是一种新颖的情境学习（ICL）框架，旨在协同判别性示例核心集选择（DECS）和自我完善经验总结（SRES）。具体来说，DECS 通过在计算级别从噪声数据中选择有区别的视觉核心集来模拟临床医生参考“锚定病例”的能力；同时，SRES通过将不同的展示提炼成动态的文本经验库来模仿临床诊断中的认知和反思。对 MedMNIST 2D 基准的所有 12 个数据集的广泛评估表明，我们的方法优于零样本通用和医学 MLLM。同时，它达到了与完全监督的视觉模型和特定领域的微调 MLLM 相当的性能水平，为参数高效的医疗情境学习树立了新的基准。我们的代码可在匿名存储库中找到：https://anonymous.4open.science/r/Synergizing-Discriminative-Exemplars-and-Self-Refined-Experience-ED74。