数据异构下的隐私保护联合快速调优：子空间分解专家方法

联合提示调整 (FPT) 支持使用轻量级提示协作调整视觉语言模型 (VLM)。现有方法通常通过本地差分隐私（DP）下的分割提示设计来解决异质性和隐私问题，将全局传输的共享提示与本地适应的私有提示相结合。然而，单一的共享提示可能会过度平滑多样化的可转移知识，削弱个性化和泛化之间的平衡。多专家提示 (MEP) 可以更好地捕获这种多样性，但会扩大通信空间，增加 DP 噪声和通信成本，同时使稳健的专家组合变得更加困难。我们提出 FedSEPT，一种保护隐私的联合子空间分解专家提示调优。具体来说，我们采用子空间分解专家建模（SEM）来参数化具有共享低秩因子、固定公共基础和私有残差的多个提示专家，从而将通信和DP扰动限制在紧凑的因子空间中，同时在公共坐标系中实现直接服务器聚合。我们进一步设计了实例感知专家融合（IEF），它通过设备上路由自适应地组合语义互补的专家，并使用缓存的专家特定文本特征执行高效的 logits 级融合。对 11 个异构基准的广泛实验表明，在相同的隐私约束下，FedSEPT 比强基准在本地适应和全球泛化之间实现了更好的权衡。