具有异构压缩客户端的联合基础模型 微调

基础模型的联邦学习面临着根本性的资源不对称挑战：拥有最有价值的特定领域数据的机构无法托管数十亿参数的模型。现有的异构联合方法试图通过参数高效调整、模型剪枝或 知识蒸馏 来弥补这一差距，但每种方法都牺牲了一个关键属性，无论是全模型内存减少、架构自包含性还是表示保真度，从而导致核心张力仍未解决。我们提出 FedSLM，一个以参数为中心的框架，用于与异构压缩客户端联合 微调。 FedSLM 使用基于 SVD 的分解来生成自包含的客户端模型，其低秩子空间形成在结构上与聚合兼容的嵌套流形。然后，它应用两阶段协议，同步压缩组内的轻量级适配器，并通过结构对齐融合跨组的全秩重建。最后，具有辅助置信度损失的从弱到强的启发步骤将聚合的知识转移到全尺寸服务器，同时显式的偏差-方差权衡减轻了压缩伪影。我们为适配器级聚合、跨组融合的子空间对齐边界以及置信度损失如何减轻弱监督噪声的表征提供了理论保证。自然语言和视觉语言基准测试表明，FedSLM 在 IID 和非 IID 分区下的性能均优于现有联合基线，而客户端模型的运行所需 GPU 内存约为完整模型所需的 50%。