通过流形感知专家进化实现自适应连续模型合并

持续模型合并 (CMM) 将特定于任务的模型顺序集成到统一架构中，无需进行密集的再训练。然而，现有的 CMM 方法受到基本的饱和冗余困境的阻碍：以骨干为中心的方法面临固定容量内的参数饱和和表示干扰，而专家混合（MoE）变体则诉诸不加区别的扩展，导致专家冗余和依赖于额外数据驱动优化的路由瓶颈。为了解决这些挑战，我们提出了 MADE-IT（流形感知动态专家进化和隐式路由），这是一种自适应 CMM 方法，通过将内在专家表示植根于流形几何中来协调专家管理和激活。我们引入了基于投影的子空间亲和度度量以及分布感知自适应阈值机制来指导自主专家进化，从而协调多样性与架构简约性。此外，为了绕过参数化门控网络，我们设计了一种无数据和 无需训练 隐式路由机制，通过特征子空间对齐来激活专家。大量实验表明，MADE-IT 在长期和混洗任务序列中的准确性和鲁棒性方面始终优于强基线，同时显着修剪冗余专家，特别是在通用模块和早期层中。