论文
CRANE:推理 MLLM 的知识编辑
CRANE: Knowledge Editing for Reasoning MLLMs
摘要
推理多模态 大语言模型 (MLLM) 的出现,在生成答案之前生成显式的思想链 (CoT) 推理,为知识编辑带来了新的挑战:在传统指标下看似成功的方法(教师强制准确率高达 100%)在检查模型的推理过程时可能会严重失败(证据一致性成功率低至 0%)。我们确定了三种失效模式:(1)结构崩溃,权重修改方法破坏了 CoT 格式; (2) 认知失调,模型的推理链根据视觉证据主动拒绝注入的编辑事实; (3) 浅层内部化,其中方法在精确查询上成功,但在改写或多跳变体上失败。在推理 MLLM 上,这些模式相互作用:泛化的方法(FT、LoRA)触发格式崩溃,而没有深度修改的方法则无法泛化。为了揭露这些失败,我们提出了一种 CoT 感知评估协议并构建 ReasonEdit-Bench,其中包含冲突分层、多级探测和多跳可移植性测试。我们提出了 CRANE,一种检索增强框架,不需要每次编辑参数修改。 CRANE 将模态感知双库检索系统与两阶段训练策略相结合:监督 微调 (SFT) 进行结构初始化,然后是带有认知路由奖励的 GRPO,训练模型在视觉先验和注入的编辑事实之间进行仲裁。在 ReasonEdit-Bench 上,CRANE 在冲突场景中实现了 96.9% 的证据一致性成功率,在多跳链中实现了 96.9% 的中间实体使用率,以及 97.6% 的文本局部性和 68.1% 的图像局部性编辑独立性。在分布外 MMEVOKE 基准上,CRANE 在标准证据检索下达到 87.0%。