AMNESIA：具有疾病知情分析功能的大规模医学遗忘基准套件

医学知识在不断发展。这就需要更新或选择性地忘记在已经训练的医学 LLM 中编码的信息。机器取消学习旨在消除模型中特定训练数据的影响，而无需完全重新训练。然而，现有的忘却基准依赖于合成或小规模的一般数据，导致临床忘却的研究不足。我们推出了 AMNESIA，这是第一个用于医学忘却的大规模开源基准，包含来自 11 个疾病类别的 8,820 个患者笔记的 70,560 个问答对。健忘症包括测试直接回忆的事实问题和测试临床推理的推理问题。我们用它来评估随机患者和疾病水平上四种广泛使用的遗忘方法，并引入一种新的指标来检测医学术语的泄漏。我们发现，遗忘个体患者会侵蚀其他具有相同病症的人的知识，因此需要能够更好地将患者与共享临床知识分开的方法。