超越因素聚合：联合 LoRA 的计量感知低秩服务器表示

联合 LoRA 能够在去中心化数据和有限客户端资源下实现 大语言模型 的参数高效适应。然而，直接平均 LoRA 因子是依赖于表示的：相同的内在更新允许无限多个规范等效分解，因此因子级聚合可以在任意坐标选择下发生变化，而底层更新保持不变。这揭示了现有联合 LoRA 聚合规则中的语义不匹配。我们提出 \textbf{GLoRA}，一种联合 LoRA 的计量感知服务器表示。GLoRA 不是聚合原始因子，而是估计来自客户端投影仪的共识更新子空间，并在共享参考坐标中聚合客户端更新，从而完全以低秩形式表示语义更新聚合。为了支持异构客户端能力，GLoRA 进一步提供了等级兼容的读出，可以从同一服务器状态实例化不同等级的适配器，而无需密集更新重建。 GLUE 和 SuperNI 上的实验表明，在数据、资源和任务异构性（包括异构客户端排名、稀疏参与、更大的主干网和看不见的任务评估）下，GLoRA 始终优于联邦 LoRA 基线。 GLoRA 还实现了有利的效率-性能权衡，这表明有效的联合 LoRA 不仅需要平均低秩因子，还需要定义语义上有意义的服务器端聚合表示。