多模态机器遗忘中的度量不可靠性：系统分析和原则统一评分

为了遵守通用数据保护条例 (GDPR)，需要视觉语言模型 (VLM) 中的机器取消学习，但当前的评估实践并不一致。我们提出了第一个关于多模态遗忘中度量可靠性的系统研究。五个标准指标：忘记准确度 (FA)、保留准确度 (RA)、成员推理攻击 (MIA)、激活距离 (AD) 和 JS 散度 (JS)，在三个 VQA 基准（MLLMU-Bench、UnLOK-VQA、MMUBench）上产生相互冲突的方法排名。对 36 个未学习的 LLaVA-1.5-7B 模型的 Kendall tau 分析揭示了两个相反的簇，{FA，RA，MIA} 和 {AD，JS}，tau_FA_AD = -0.26，在 BLIP-2 OPT-2.7B 上重现。多模态 VQA 中的一致性（平均 tau = 0.086）低于单模态分类（平均 tau = 0.158；差异 = 0.072），这表明双重图像和文本路径放大了不一致性。我们引入了统一质量得分（UQS），这是一个复合指标，其权重源自每个指标与预言机距离 d（M_hat，M_star）的 Spearman 相关性，其中 M_star 是仅在保留集上重新训练的预言机模型。 RA 显示最强的可靠性（rho = 0.484，p = 0.003），而 FA 呈负相关（rho = -0.418，p = 0.011）。 UQS 在 100 个随机权重扰动下产生稳定的排名 (tau = 0.647 +- 0.262)。我们发布了基准测试、36 个检查点和交互式排行榜。代码和预先计算的结果可在 https://github.com/neurips26/UnifiedUnl 获取。