模态解耦在线递归编辑

多模态 大语言模型 (MLLM) 的在线模型编辑需要在计算和内存预算紧张的情况下吸收一系列校正。然而，为纯文本 LLM 开发的编辑器经常在 MLLM 上降级：视觉上占主导地位的激活会扭曲形成更新的统计数据，导致跨模式冲突，而顺序写入会纠缠在共享编辑空间中并放大长视野干扰，导致编辑间干扰。为了解决这些问题，我们提出了 M-ORE，一种模态解耦的在线递归编辑器，用于终身 MLLM 适应。 M-ORE 源自统一的近端投影公式，并允许使用 Sherman-Morrison 递归进行封闭式更新，从而产生恒定的每次编辑开销。它维护文本堆栈和视觉投影仪的模块局部性统计，以避免视觉主导的更新整形，并通过谢尔曼-莫里森递归在固定的正交低秩编辑子空间中执行连续更新，以减轻长视界干扰。对多个 MLLM 主干和在线编辑基准的实验表明，我们的 M-ORE 方法在强基线上持续提高了可靠性、通用性和局部性，同时实现了良好的质量效率扩展。我们的代码可在 https://github.com/lab-klc/M-ORE 上公开获取。