分解、混合、适应：参数高效神经网络重组和压缩的统一框架

参数重组 (PR) 方法旨在为参数高效微调 (PEFT) 和模型压缩 (MC) 等应用有效地组合神经网络的权重。大多数方法通常专注于 PR 的一种应用，这使得撰写它们变得具有挑战性。例如，在部署大型模型时，您可能希望压缩模型并快速适应新设置。然而，PEFT 方法通常仍然可以包含数百万个参数。与原始模型大小相比，这可能很小，但在边缘设备等资源受限的部署中可能会出现问题，因为它们占用了压缩模型参数的大部分。为了解决这个问题，我们提出了通过插值共享基础投影进行系数门控权重重组（CRISP），这是一种在同一框架内无缝集成多个 PR 任务的通用方法。 CRISP 通过将预训练权重分解为基础矩阵及其分量混合投影来实现此目的。跨层共享基础矩阵并调整其大小使我们能够执行 MC，而混合器权重的小尺寸（在某些实验中小于 200）使 CRISP 能够支持 PEFT。实验表明，CRISP 的性能比之前能够实现双任务应用的方法高出 4-5%，同时也比 PEFT 中最先进的方法高出 1.5%，以及 PEFT+MC 组合高出 1%。我们的代码可在存储库中找到：https://github.com/appledora/CRISP-CVPR26。