超越路由饱和：多模态持续指令微调中专家路由的长程类别增量视角

多模态持续指令调优（MCIT）使多模态大语言模型能够依次学习新任务并保留先前学习的能力。许多最近的方法维护任务特定的LoRA专家，并在推理时将每个输入路由到一个或多个专家。然而，专家路由背后的任务识别问题尚未得到充分探索。我们展示了路由在广泛使用的MCIT基准上几乎饱和。泄露任务身份的文本指纹和少数竞争专家组成的短4-10任务序列共同掩盖了长期跨度的路由问题。为了暴露这一挑战，我们引入了FLEX（Fingerprint-reduced Long-horizon Expert Examination），这是一个34任务的长期跨度MCIT基准，其文本指纹被削弱。FLEX将任务分为具有相似指令和答案格式但知识和视觉领域不同的任务，并规范化它们的外模板，然后在显著更大的专家池上评估路由。关键的是，我们将逐步LoRA路由视为软任务-类别多模态类增量学习（MCIL）：每个任务定义一个增量路由类，其完整的评分分布供应LoRA混合权重，硬路由作为离散特殊案例。FLEX暴露了这一扩展的任务识别挑战，而MCIL的表型为将CIL方法转移到专家路由提供了原则性的接口。我们实例化PureLoRA作为控制基线，并将四个CIL方法适配到四个MCIT框架，而无需修改LoRA专家或生成管道。我们的插件路由器通过16.3个百分点的严格LoRA匹配和4.6个百分点的总体MacroScore，提高了匹配度。代码可在：https://github.com/RINC-CL/FLEX下载。