STAIL：通过 大语言模型 进行医学成像的语义文本锚定增量学习

应用于医学图像分析的深度学习模型在不断适应动态环境中的新临床任务时会遭受严重的灾难性遗忘。主流增量学习方法通​​常通过排练原始历史图像来缓解这种情况。然而，这种像素级的演练会产生大量的存储开销，引发隐私问题，并且无法通过稀疏的样本充分捕获真实的数据分布。受人类认知机制的启发，我们提出了一种称为语义文本锚定增量学习（STAIL）的新颖框架，用于顺序临床任务。为了克服排练瓶颈，STAIL 引入了非对称语义合并缓冲区 (SCB)。通过结合最少的图像锚点集和广泛的文本描述，SCB 能够以最小的存储成本对旧任务进行密集的语义重建。此外，我们设计了一种源自 LLM 的语义锚定机制（LSAM），该机制利用冻结 大语言模型 的稳定语义空间作为发展先验。这种机制明确地将不断演变的视觉特征锚定到文本表示，在宏观和微观层面上指导和约束可塑性和稳定性。对三个异构医学数据集（涵盖眼底、超声和 X 射线成像）的广泛实验表明，STAIL 是一个高效的即插即用模块。它全面增强了各种现有基线的性能，在持续性能方面，AAA-AUC 平均提高了 2.24%，在遗忘减少方面，BWT-AUC 平均提高了 3.55%。代码可用。