面向多模态的本地化和解缠结的知识编辑 大语言模型

多模态知识编辑 (MKE) 中的现有方法提高了纠正多模态 大语言模型 (MLLM) 中过时或不准确知识的能力。然而，它们表现出一个关键的局限性：虽然有效地修改目标事实对，但它们无法将编辑推广到逻辑相关的查询，并且经常导致对不相关但在视觉或语义上链接的信息的意外更改。我们识别并形式化了导致此问题的两种潜在故障模式：因果错位（将编辑限制在特定样本）和特征纠缠（导致对耦合但不相关的信息进行意外更改）。为了解决这些问题，我们提出了本地化和解缠结的知识编辑（LDKE），这是一种新框架，通过本地化特定于事实的模型层并将与目标相关的输入与不相关的输入解开来实现精确和广义的编辑。我们的方法引入了一个快速本地化模块来有效地识别和更新关键层，以及一个解缠分类器来适当地路由输入以保留不相关的知识。跨各种基准和 MLLM 的大量实验表明，LDKE 在将编辑传播到相关上下文方面实现了卓越的性能，同时保持了较高的局部性。