SplitLite：用于分割学习的低秩残差压缩

设备上 大语言模型 (LLM) 的联合 微调 面临着巨大的计算负担。为了克服这一限制，分割学习（SL）已成为一种有前景的解决方案，它将主要训练工作负载转移到功能强大的服务器上。然而，SL 需要在客户端和服务器之间交换高维激活和梯度，从而导致通信成本过高。为了克服这一挑战，我们提出了 SplitLite，一种通信高效的分裂联合 LoRA 微调 方法，该方法利用连续历元激活和梯度残差的低有效秩结构。我们的主要发现是，当LoRA在参数空间中使用rank $r$更新时，相邻历元之间相同数据样本的激活和梯度残差也分别表现出有效的rank-$2r$和rank-$4r$结构。通过揭示这一特性，SplitLite 仅传输量化的截断奇异值分解 (SVD) 残差因子，从而显着减少激活上行链路和梯度下行链路流量。在一系列先进的设备上 LLM 上对 GLUE 基准进行的广泛实验表明，我们的方法可将激活上行链路通信成本降低高达 93.5\%，将总通信成本降低高达 83.7\%，而不会降低性能。