FedSDR：经过修正的联合自我 蒸馏

大语言模型 的联合 微调 面临严重的统计异质性。然而，现有的模型级防御常常忽视根本原因：内在数据分布不匹配。在这项工作中，我们首先将联邦自我 蒸馏 (FedSD) 建立为基本且有效的策略。通过将客户表征投射到平滑的“模型理解空间”中，FedSD 本身就可以充当通用助推器，展示出优于传统算法的性能。尽管它取得了成功，但我们发现了一个微妙的权衡，称为重写悖论——不受约束的自我 蒸馏 可能会无意中增加幻觉和冗余。为了完善这一范式，我们进一步提出了 FedSDR（带纠正的联邦自我 蒸馏），这是终极强化框架。它通过双流机制增强了 FedSD：本地 LoRA-S（平滑）分支通过蒸馏数据隐式吸收异质性，并行全局 LoRA-R（纠正）分支锚定到原始数​​据以强制事实正确性。通过选择性地仅聚合 LoRA-R，FedSDR 产生了全球一致且可靠的模型。大量的实验验证了其优越的性能。