FraQ：联邦低秩适配中的高效坐标空间再压缩

摘要

联邦微调与低秩适应（LoRA）使大规模语言模型（LLMs）在不集中私有数据的情况下进行高效协作适应成为可能。然而，LoRA的两因素参数化导致客户端之间的聚合差异：简单平均因子无法恢复其诱导更新的平均值。通过形成全权重空间中的精确聚合并随后压缩它，可以避免这种聚合差异。但是，从密集矩阵中分解结果是计算资源和内存密集型的。我们提出FraQ，一种用于联邦LoRA的高效坐标空间压缩方法。从表示聚合的堆叠因子开始，FraQ将其分解为正交基和紧凑坐标矩阵。然后从一个小Gram矩阵恢复奇异谱，选择满足指定能量阈值的最小秩，并通过基础将选定坐标子空间映射回原空间，从而构建全局适配器。在文本分类和常识推理基准上的实验结果表明，FraQ能够接近无压缩基准的准确度，同时显著减少服务器端复现通信中的下行链路通信开销。

FraQ：联邦低秩适配中的高效坐标空间再压缩：论文配图 — 图 2：FraQ 概述，以 m>nm>n 方向进行说明。每个客户端在当前全局模型上初始化并训练 LoRA 适配器，并将其因子上传到服务器。服务器（1）形成加权因子堆栈，其乘积等于精确的更新级别聚合； (2) 在不具体化全尺寸聚合的情况下构造正交基和坐标表示； (3)从小格拉姆矩阵中恢复频谱并使用能量保留阈值选择全局排名； (4)将保留的坐标空间近似与基础相结合，构建用于广播的紧凑的全局LoRA因子。客户端将广播全局适配器合并到缓存的全局权重中，并为下一轮重新初始化新的本地适配器。