论文
在忘记之前,先学会记住:重温 LVLM 遗忘基准中的基础学习失败
Before Forgetting, Learn to Remember: Revisiting Foundational Learning Failures in LVLM Unlearning Benchmarks
摘要
虽然大型视觉语言模型 (LVLM) 提供了强大的功能,但它们会无意中记住敏感的个人信息,从而带来隐私风险。当前的忘却基准尝试使用虚构身份来缓解这种情况,但忽略了第一阶段的关键失败:模型最初无法有效记住目标信息,导致后续的忘却评估不可靠。将记忆不足和多跳诅咒作为根本原因,我们引入了 ReMem,一种可靠的多跳和多图像记忆基准。 ReMem 通过有原则的数据扩展、推理感知 QA 对和多样化的视觉上下文确保强大的基础学习。此外,我们提出了一种新颖的暴露度量来量化模型内部概率分布中信息擦除的深度。大量实验表明,ReMem 提供了一个严格且值得信赖的框架,用于诊断 LVLM 中的学习和忘却行为。