论文
PRISM：通过自组织专家专业化协同视觉基础模型
PRISM: Synergizing Vision Foundation Models via Self-organized Expert Specialization
摘要
将不同视觉基础模型 (VFM) 的互补优势统一到单个高效模型中是非常可取的，但受到单片 蒸馏 固有的负迁移的挑战。为了解决这些功能冲突，我们引入了 \textbf{PRISM}，这是一种新颖的双流专家混合 (MoE) 框架，可通过模块化专业化来协同 VFM。我们提出了一个两阶段范式：（1）专业知识解构，其中教师条件路由器引导专家专门研究不同的表征子空间以减轻干扰，然后是（2）动态重组，其中路由器学习将这些专家组装成针对下游任务的定制计算路径。 PASCAL-Context 和 NYUD-v2 上的实验表明 \textbf{PRISM} 建立了一种新的技术水平，验证了稀疏的、新兴的专业化是集成不同视觉知识的可扩展方法。