MUtE：概念擦除和反事实干预的双重框架

事实证明，从表示中删除特定于概念的信息对于减轻偏见或解释模型决策很有用。联合目标是转换原始表示，使目标概念变得不可预测，同时最大限度地保留与概念无关的信息。在这项工作中，我们重新审视概念擦除的最佳边界，以推导一类新颖的擦除函数，这些函数自然会产生确定性的、双重反事实映射。为了弥合理论最优性和实际表示学习之间的差距，我们设计了一种对反事实轨迹施加翻译偏差的实现——这种约束与现代语言模型中几何上体现的概念数量相一致。我们的框架可以实现概念擦除和反事实生成之间的无缝导航。我们凭经验证明了它在提高下游算法公平性和生成反事实文本方面的功效。