论文
FedGRPO:通过域客户端的群体相关奖励私下优化基础模型
FedGRPO: Privately Optimizing Foundation Models with Group-Relative Rewards from Domain Client
摘要
联合基础模型 (FedFM) 的一个重要方向是利用小型客户端模型的数据来增强大型服务器端基础模型的性能。现有的基于模型级或表示级知识转移的方法要么需要昂贵的本地训练,要么会产生高昂的通信成本并引入不可避免的隐私风险。我们将这个问题重新表述为强化学习风格的评估过程,并提出了 FedGRPO,一个包含两个模块的隐私保护框架。第一个模块通过从辅助数据构建轻量级置信图来执行基于能力的专家选择,以确定每个问题的最合适客户。第二个模块利用组相对策略优化 (GRPO) 框架中的“组相对”概念,将每个问题及其解决方案基本原理打包到候选策略中,将这些策略分派给选定的专家客户子集,并通过联合组相对损失函数仅聚合所得的标量奖励信号。通过交换奖励值而不是数据或模型更新,FedGRPO 降低了隐私风险和通信开销,同时支持跨异构设备的并行评估。不同领域任务的实证结果表明,与传统的 FedFM 基线相比,FedGRPO 实现了卓越的下游准确性和通信效率。