论文

FedOPAL:经解析视觉提示微调的一次性联邦学习

FedOPAL: One-Shot Federated Learning via Analytic Visual Prompt Tuning

模型训练参数高效训练

摘要

随着基础模型在边缘智能的广泛部署,通信带宽成为限制联邦学习可扩展性的核心瓶颈。尽管一次性联邦学习通过最小化通信轮次缓解该问题,既有的迭代微调或知识蒸馏方法仍面临服务端计算成本高与超参敏感等挑战。解析联邦学习以最小二乘闭式解实现高效免梯度聚合,但在非独立同分布数据环境中其静态特征假设失效——导致特征流形错位、严重损害模型表现。为解决该矛盾,本文提出FedOPAL框架。该框架把视觉提示适配为特征矫正器:施加局部近端约束,主动把异构数据的特征分布矫正到线性可分空间——从而满足解析联邦学习的理论假设。实验结果显示:FedOPAL不仅在多个基准上显著超越原解析方法,还以零服务端训练成本取得与最先进迭代方法相当的准确率——为边缘大模型高效协作提供新工程范式。

FedOPAL:经解析视觉提示微调的一次性联邦学习:论文配图
图 1:FedOPAL 概述。 (左)在本地训练阶段,客户端冻结基础模型主干并优化插入输入嵌入序列的一组连续视觉提示标记𝐏k\mathbf{P}_{k}。使用从提示增强序列中提取的校正特征,客户端计算封闭形式的充分统计量(𝐑k,𝐂k\mathbf{R}_{k},\mathbf{C}_{k})。 (右)服务器聚合这些统计数据,以分析方式导出最佳全局分类器 𝐖*\mathbf{W}^{*} 并对提示标记进行平均,从而实现高效的一次性联邦学习。