EFFEKT：高效联合知识转移到基础模型

最近的数据保护法加速了联邦学习（FL）在保护隐私的去中心化训练中的采用。然而，不断增加的模型大小对客户端设备提出了大量的计算需求，限制了 FL 在资源受限环境中的适用性。我们引入了一种新颖的多域联合学习框架，其中轻量级客户端代理模型与服务器端基础模型（FM）协作来学习新概念，而无需共享私有数据。我们的方法 EFFEKT 能够对特定领域的 LoRA 适配器进行高效的服务器端训练，同时通过新颖的双向跨 蒸馏 策略保持 FM 和代理提取器之间的特征空间对齐。对多个现实世界数据集的实验以及在低功耗边缘设备上的部署证明了在大多数考虑的领域中对最先进基线的改进，同时保持客户端的轻量级计算。