Auto-FlexSwitch：通过可学习任务向量压缩实现高效动态模型合并

模型合并作为通过集成来自多个特定任务模型的知识来实现​​多任务适应的有效途径而引起了人们的关注。在现有的方法中，动态合并通过在推理时灵活地组合特定于任务的参数来减轻由于跨任务的参数更新冲突而导致的性能下降，从而保持高性能。然而，这些方法需要为每个任务存储独立的参数，导致存储开销过高。为了解决这个问题，我们首先通过实验证明，微调的权重增量（称为任务向量）表现出类似脉冲的激活模式和对低位表示的高鲁棒性。在这种见解的驱动下，我们提出了 T-Switch，它将任务向量分解为三个紧凑的组件：二进制稀疏掩码、符号向量和标量缩放因子，从而在高压缩比下实现高保真近似。然后我们介绍 Auto-Switch，这是一种 无需训练 合并方案，可通过特征相似性检索自动组成任务向量。在此基础上，我们开发了 Auto-Switch，这是一种 无需训练 合并方案，可通过特征相似性检索自动组装任务向量。此外，为了将任务向量稀疏化和量化从静态规则转变为自适应学习，我们提出了FlexSwitch，这是一个可学习的框架，它通过可学习门稀疏化（LGS）和位宽自适应选择（BAS）联合优化每个模型单元的压缩策略，同时采用稀疏感知存储策略（SASS）来选择最佳存储编码结构。最后，通过将 K 最近邻 (KNN) 推理方案与可学习的低秩度量相结合，我们提出了 Auto-FlexSwitch，这是一种支持高效任务向量压缩的动态模型合并方法。