DSCA：终身 VLM 编辑的动态子空间概念对齐

模型编辑旨在更新知识以添加新概念并更改相关信息，而无需重新训练。终身编辑是一项具有挑战性的任务，容易破坏以前学到的概念，特别是对于视觉语言模型（VLM）来说，因为顺序编辑可能导致推理能力下降和跨模式错位。现有的基于门控适配器、激活编辑和参数合并技术的 VLM 知识编辑方法解决了完整的 微调 中出现的灾难性遗忘问题；然而，它们仍然在 VLM 的共享表示空间中运行，其中概念是纠缠在一起的，因此编辑会干扰其他不相关的概念。我们假设这种不稳定性仍然存在，因为当前的方法通过优化通过算法控制编辑，而不是在结构上分离知识。我们引入了动态子空间概念对齐（DSCA），它通过将表示空间分解为一组正交语义子空间并仅在这些变换的空间中提出编辑来减轻这种限制。这些子空间是通过联合视觉语言表示上的增量聚类和 PCA 获得的。此过程在结构上隔离概念，通过将软训练目标的隔离转变为架构属性，实现精确、无干扰的编辑。手术编辑由多项损失函数指导，以保持任务保真度、编辑局部性和跨模式对齐。在基本模型冻结的情况下，我们的方法实现了 98% 的单次编辑成功率，在 1000 次连续编辑后仍保持在 95% 以上，将幻觉降低了 3% 到 5%，并在连续指令调优基准上实现了最佳向后传输 (BWT) 分数。大量实验证明了 DSCA 在跨各种数据集和基准的持续终身编辑中具有最先进的稳定性和知识保留能力。