基于语义路由LoRA的可逆终身模型编辑

现实世界的动态演化要求对大语言模型进行模型编辑。已有方法探索模块隔离或参数高效策略，但仍因持续更新而出现语义漂移或知识遗忘。为应对这些挑战，我们提出SoLA——基于语义路由的LoRA终身模型编辑框架。在SoLA中，每次编辑被封装为独立LoRA模块，训练后冻结并经语义路由映射到输入，通过语义匹配动态激活LoRA模块。该机制避免簇更新引起的语义漂移，并缓解参数共享导致的灾难性遗忘。更重要的是，SoLA支持通过从语义路由移除键来精确撤销特定编辑，恢复模型原始行为。据我们所知，这种可逆回滚编辑能力在现有文献中尚属首次实现。此外，SoLA把决策过程整合进被编辑层，无需辅助路由网络，实现端到端决策。大量实验表明SoLA能有效学习并保留被编辑知识，实现准确、高效且可逆的终身模型编辑。