从适应到泛化：医学图像分割的自适应视觉提示

视觉提示已成为一种在不更新模型参数的情况下使预训练模型适应新领域的强大方法。然而，现有的提示方法通常优化每个域的单个提示并将其统一应用于所有输入，限制了它们在域内和域间可变性下的泛化能力，这在医学领域尤其重要。为了解决这个问题，我们提出了 APEX，一种自适应提示提取框架，可以从可学习的提示记忆中检索特定于输入的提示。存储器存储不同的、领域区分的提示表示，并通过从傅里叶谱中提取的领域特征进行查询。为了学习鲁棒性和判别性的领域特征，我们引入了一种新颖的低频特征对比（LFC）学习框架，该框架可以对来自同一领域的表示进行聚类，同时将来自不同领域的表示分开。对两项医学分割任务的广泛实验表明，APEX 显着提高了可见领域和未见领域的泛化能力。此外，它补充了任何现有的骨干网并持续增强性能，证实了其作为医疗领域即插即用提示解决方案的有效性。代码可在 https://github.com/cetinkayaevren/apex/ 获取