论文

STAGE:文本转 3D 模型的子空间目标仿射生成擦除

STAGE: Subspace-Targeted Affine Generative Erasure for Text-to-3D Models

模型训练模型编辑与遗忘

摘要

概念擦除会抑制目标概念,同时保留不相关输入的行为。现有的封闭式方法是为 2D 图像扩散而设计的,并假设单一生成路径,因此一次编辑必须同时涵盖几何形状和纹理。原生 3D 生成器直接合成结构化 3D 表示,而不是通过提升 2D 样本,违反了这一假设。我们表明,在管道的结构阶段必须消除形状和物体概念,在外观阶段必须消除材料概念。因此,我们将本机文本到 3D 中的擦除制定为阶段感知编辑问题,并引入 STAGE,这是一个免训练的封闭式框架。 STAGE 将每次编辑限制在由擦除和锚嵌入之间的差异跨越的低维子空间中,并将先前编辑器的范数保持(正交)约束放松为最小二乘仿射校正,将目标激活映射到安全锚上,并受到保留提示位移的惩罚。该修正适用于结构阶段、外观阶段或两者。我们发现编辑必须达到的阶段是由概念类型决定的。在标准开放式原生 3D 生成器 TRELLIS 上,跨越 15 个形状、材料和物体概念,STAGE 的综合得分达到 66.7,该得分平衡了忘记目标概念与保留其他所有内容、聚合基于 CLIP 的语义和物理指标,而最强适应基线为 53.2。代码:https://github.com/gmum/STAGE/ 项目页面 https://gmum.github.io/STAGE/