论文

I-CARE:在可控、多样且有代表性的文生图遗忘场景中分析干扰现象

I-CARE: Analysis of interference-related phenomena in a controllable, diverse and representative unlearning setting for text-to-image models

模型评测评测方法与指标

摘要

机器取消学习研究从人工智能模型中删除知识,使系统忘记之前学到的概念。尽管生成机器去学习方面取得了快速进展,但本应保留的语义相关概念的意外退化(此后称为干扰)仍然没有得到很好的表征和不一致的评估。本文介绍了 I-CARE,一种将干扰形式化为生成性忘却的一流研究对象的方法论。 I-CARE 不是提出新的基准或忘却算法,而是提供了任务、指标和报告结果模板的正式定义,从而能够对忘却环境中的干扰进行系统且可重复的研究。虽然我们的方法旨在随着模型和学习算法的发展而保持有效,将长期的科学见解与短暂的实证结果脱钩,但我们使用最先进的算法和常用的数据集提供了可行性演示。结果表明,I-CARE 能够对多种遗忘环境中的干扰模式进行有意义的分析,从而确立了该框架的实际适用性。该方法的软件实现是在开源框架中提供的,以及基于网络的图形界面,可以探索本研究的结果,而无需与代码库或专门的数据分析工具直接交互。