REMEDI：多标签临床疾病推断中保留和遗忘评估的基准

用于临床疾病推理训练的语言模型是根据患者数据进行训练的，其中可能包括敏感和私人信息，并且出于隐私或版权问题，数据所有者可能会要求从训练模型中删除其数据。然而，完全忘记患者特定数据是很棘手的，并且删除少量数据进行重新训练会占用大量资源。虽然存在多种可以使用的机器遗忘方法，但它们的实用性通常仅限于非医学领域。此外，评估此类遗忘方法的现有基准主要利用综合整理的数据集，这些数据集并不能真正代表现实世界的系统。因此，这些遗忘方法在医学领域的有效性很大程度上尚不清楚。为此，我们引入了 REMEDI，这是一个针对多标签和多类临床疾病推断而定制的机器遗忘的广泛基准，其中标签相关性、纵向结构和安全约束使得遗忘特别具有挑战性。与现有基准不同，REMEDI 考虑：（1）相关应用领域（医学），（2）涉及不同遗忘实例集的全面遗忘设置，（3）具有挑战性的遗忘场景，包括多标签和多类分类任务，以及（4）涉及效用和遗忘程度方面的性能的评估指标。 REMEDI 是利用 MIMIC-III 临床数据库开发的，该数据库包含患者的综合临床数据。对现有忘却方法的实验表明，效用和忘却性能之间存在权衡。它们在很大程度上也不适合多标签分类任务。为了促进可重复性，我们公开了我们的基准。