论文
任务差异化原子技能扩展和路由,用于跨高度异构任务的持续学习
Task-Differentiated Atomic Skill Expansion and Routing for Continual Learning Across Highly Heterogeneous Tasks
摘要
持续学习(CL)通常是在连续任务在语义上相关或结构相似的假设下进行研究的。然而,在高度异构的环境中,任务在推理模式和输入输出格式上存在很大差异,现有方法经常遭受灾难性遗忘和低效容量分配的困扰。为了应对这一挑战,我们提出了任务区分原子技能扩展和路由(\texttt{TASER}),这是一个 CL 框架,它共同确定为每个任务引入多少新原子技能以及激活哪些技能。该框架首先使用原子技能增量学习来根据任务分歧和模型不确定性动态扩展容量。然后,它应用正交性增强的技能检测,以确保这些技能在语义上保持独特且可独立重用。最后,技能动态路由机制通过轻量级任务条件门控来组合任务相关技能。我们进一步引入了 \texttt{HeteroCLBench},这是一个高度异构的 CL 基准,包含标准化顺序协议下跨 9 个认知维度的 19 个不同任务。 \texttt{HeteroCLBench} 上的实验表明,\texttt{TASER} 通过提高可塑性和减少灾难性遗忘,始终优于强基线。