论文
当保留约束发生冲突时:减轻表格数据中的忘记保留干扰
When Retain Constraints Conflict: Mitigating Forget-Retain Interference in Tabular Data
摘要
机器取消学习旨在消除指定训练数据的影响,同时保留模型效用,但其对表格数据的行为仍未得到充分探索。这一差距很重要,因为表格预测广泛应用于高风险领域,并且通过记录序列化和模式感知提示越来越适应语言模型。我们发现了区分表格遗忘与自由格式文本或其他形式遗忘的一个关键挑战:模式引起的遗忘-保留重叠。在序列化表格数据中,记录共享固定的列名/值槽、相似的属性范围和公共输出空间。因此,遗忘行可能具有依赖于相同高信号属性的附近保留行,导致保留保留反对遗忘所需的更新。受这种故障模式的启发,我们提出了冲突感知取消学习(CAU),这是一种模式感知方法,通过放宽与遗忘集最冲突的保留行的保留约束来减少遗忘保留干扰。在临床和非医学表格任务的样本级和特征级遗忘中,CAU 更接近于再训练预言机,同时保持预测效用和保留区域行为。我们的结果表明,可靠的表格 LLM 遗忘不仅取决于遗忘目标,还取决于保留约束的构建方式。