论文
LU-500:概念遗忘的标志基准
LU-500: A Logo Benchmark for Concept Unlearning
摘要
概念遗忘越来越多地用于限制文本到图像模型中受保护或不安全的视觉概念的再现。然而,现有的评估主要研究主导整个图像的目标,例如风格、广泛的对象类别或类似肖像的身份,从而使公司徽标的审查相对不足。徽标创建了一种不同的故障模式:一个小的本地化标记可以承载整个受保护的概念,必须在视觉上精确以保持可识别性,并且即使在“徽标”一词不存在的情况下,也可以由产品、店面、包装或广告隐式触发。我们引入了 LU-500,这是一个由财富全球 500 强公司构建的徽标学习基准,用于研究这种本地化且语义纠缠的设置。 LU-500 包含近 10,000 个精选的文本查询和徽标图像对,具有显式轨道 (LUex-500) 和隐式上下文轨道 (LUim-500)。为了避免将任务简化为二进制检测器分数,我们定义了一个多粒度协议,用于评估像素和潜在空间中的局部徽标删除和全局图像保留。对代表性推理时间方法(包括 NP、SLD 和 SEGA)以及基于 微调 的兼容方法(如 ESD 和勿忘我-Not)的实验表明,所评估的方法很难在不更改非目标内容的情况下删除徽标证据。我们进一步分析了 ProLU,一个提示空间多智能体基线:它通过删除标识诱导语义来改善局部擦除,但也说明了为什么提示过滤不能替代权重级解缠结。对徽标区域、位置和结构复杂性的相关分析表明,未来的徽标遗忘可能需要空间感知控制,例如 SSIM 引导的约束,而不是纯粹的全局概念抑制。