随机反足搜索正确完成 LLM Unlearning 的数据帕累托改进

大语言模型（LLM）有时会记住不需要的知识，部署后必须将其删除。之前关于机器遗忘的工作主要集中在优化方法上，这些方法调整参数以强制遗忘，同时保留保留。然而，这些方法假设忘记和保留集是容易获得的，但这在实践中很少成立。忘却通常是由推理时的不良生成触发的，这使得相关数据的检索成为核心挑战。我们引入了 LLM 遗忘的数据帕累托改进的概念，它形式化了检索如何扩大遗忘和保留之间可实现的权衡边界。为了实现这一原理，我们提出了线性影响核上的随机反足搜索（RASLIK），这是一种将排列投影哈希与随机反足搜索相结合的检索算法。 RASLIK 减少了选择方差，实现了次线性复杂度，并在质量和效率上实现了双倍增益。在多个模型、数据集和遗忘算法中，RASLIK 始终优于确定性基线，甚至预言机采样，将随机搜索建立为以数据为中心的遗忘的有原则且可扩展的解决方案。