论文
LEMUR:通过视觉锚定推理重定向实现潜在熵感知多模式忘却
LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection
摘要
强化学习 (RL) 后训练 为多模态大型推理模型 (MLRM) 配备探索性思维链 (CoT),显着改善视觉推理。然而,我们发现这种能力引入了一个明显的隐私漏洞:即使成功地从最终答案中忘记了敏感事实,模型仍然可能在其推理轨迹中重现它。这种泄漏在本地 RL 训练的 MLRM 中比在非推理基础模型中更为明显,揭示了现有的遗忘方法无法解决的隐私风险。我们表明,强化学习引发的探索给敏感内容留下了独特的 词元级 熵特征,而基本模型中基本上不存在这种特征。基于这一观察,我们提出了 LEMUR,这是一个完全 无需训练 的推理时间遗忘框架,适用于本地 RL 训练的多模态模型。 LEMUR 使用熵动力学作为控制信号来识别敏感推理何时开始以及清理何时应停止。在此间隔期间,它通过熵调制的视觉锚潜在注入来重定向推理轨迹,用在输入图像中重新对齐的经过净化的概率加权嵌入替换已提交的标记。在不同的 MLRM 中,LEMUR 在抑制推理痕迹和答案泄漏方面始终优于现有的遗忘方法,同时更好地保留非敏感效用和输出流畅性。这些结果表明,强化学习引起的熵动力学为隐私泄露提供了独特的信号,并且利用该信号可以有效地消除具有推理能力的多模态模型的 无需训练 学习。