PPU-Bench：视觉语言模型中个性化部分遗忘的真实世界基准

多模态 大语言模型 (MLLM) 可能会在预训练期间记住敏感的跨模态信息。然而，现有的 MLLM 忘却基准依赖于合成知识注入或完整的主题级删除，这无法捕获需要细粒度事实控制的现实的、个性化的删除请求。在本文中，我们介绍了 PPU-Bench，这是一个真实世界且无 微调 的基准，用于 MLLM 中的个性化部分遗忘。 PPU-Bench 包含 24K 多模态和单模态样本，这些样本源自 500 名公众人物在三种逐渐具有挑战性的设置下的现有知识：完全、选择性和个性化遗忘。该基准评估方法是否可以删除目标知识，同时保留非目标事实、模型效用和跨模式一致性。大量实验表明，完全忘却往往会抑制视觉认同而不是事实知识，而选择性和个性化忘却会暴露出严重的遗忘——在主体内的事实边界中保留权衡和挑战。跨图像和基于提示的攻击下的鲁棒性分析揭示了不同遗忘设置中的明显漏洞。受这些发现的启发，我们提出了边界感知优化（BAO），它明确地模拟了主体内的遗忘-保留边界。两种代表性方法的实验结果表明，BAO 可以有效地强化主体内的事实边界。