RW-LoRA：通过随机游走实现高效通信的去中心化 LoRA 微调

LoRA 等参数高效的 微调 方法已成为适应大型基础模型的标准方法。采用 微调 进行分布式设置面临着一些挑战。大多数现有的分布式 LoRA 方法依赖于中心化聚合，而基于 gossip 的去中心化 LoRA 需要在多个模型副本之间重复同步。这两种方法都会产生大量的通信开销，并且由于多个模型更新的同时聚合而引入错误。在本文中，我们从不同的角度提出了一种基于随机游走的 LoRA 微调 方案。单个模型词元无需维护多个模型副本，而是遍历网络并使用本地 微调 目标按顺序更新。这种设计消除了全局同步的需要，大大降低了通信和计算成本，并避免了聚合错误。我们在标准假设下为非凸目标提供严格的收敛保证。通过多个 NLP 任务和图拓扑的实证结果，我们表明，与基于 gossip 的 LoRA 相比，所提出的方法以更少的通信和计算实现了有竞争力的任务性能。