用于通信高效联合 LoRA 微调的自适应相位切换

具有低秩适应的大型语言模型的联合微调减少了每个客户端的可训练参数，但客户端到服务器的通信仍然是主要成本。联合 LoRA 协议的现有核算在协议更改聚合模式时省略了非对称转换轮次，并报告了忽略分组查询注意力形状的节省。本文测量双向 B-only 联合 LoRA 协议的每轮上传和下载字节数，并将五种方法（其中三种来自先前的工作）置于单一通信质量边界上。边界有一个拐点，自适应相位切换聚合器 ReverseAdaptive 通过监控全局训练损失相对于无量纲阈值的相对改进来定位拐点，而不是通过提前固定相边界。在 TinyLlama-1.1B-Chat with Alpaca 上，ReverseAdaptive 比 FLoRA 实现了 40.5% 的实测往返节省，而保留指令跟踪损失成本为 0.0063。它的性能优于 FFA-LoRA，FFA-LoRA 在初始化时冻结两个 LoRA 因子中的第一个，保留损失为 0.0182，是该指标的最大每种方法种子标准差的 20 倍以上，因此在冻结之前学习该因子会产生更好的适配器。相同的阈值在模型尺度上转移而无需重新调整，并且转移的质量成本在测试的两个数据集上是稳定的。