MoRe：序列数据上有原则的连续表示学习的模块化表示

摘要

持续学习需要模型适应新数据，同时保留以前获得的知识。从本质上讲，这一挑战可以被视为有原则的一步适应：在对现有表示干扰最小的情况下纳入新信息。大多数现有方法通过以有监督的、特定于任务的方式修改模型参数或架构来解决这一挑战。然而，根本问题是表征：任务需要独特但结构化的表征，可以有选择地更新而不破坏表征，而结构应反映数据中的内在组织而不是任务边界。在顺序数据中，时滞依赖性为揭示该组织提供了自然信号，揭示了基本表示如何产生更具体的表示。受人脑模块化组织的启发，我们提出了 MoRe，这是一个识别表示本身的模块化而不是在架构级别分配模块化的框架。 MoRe 将知识分解为基本模块和特定模块的层次结构，并保证可识别性，从而在适应过程中实现有原则的模块重用、对齐和扩展，同时通过构建保留旧模块。综合基准和现实世界 LLM 激活的实验证明了可解释的层次结构、改进的可塑性-稳定性权衡，表明 MoRe 作为持续适应的原则基础