D-FROST：通过非 IID 和不平衡数据的最佳传输进行去中心化联合提示调整

提示调整通过冻结预训练的主干并仅更新一小部分可学习的提示，提供了一种参数有效的方法来适应基础模型（FM）。此属性使得快速调整特别适合去中心化联合学习 (DFL)，在这种情况下，交换全模型更新的成本可能非常昂贵。然而，DFL 的快速调整带来了新的挑战。从异构本地数据中学习到的提示集可能不会按索引对齐，从而使得标准的分散平均不合适。此外，该算法应在理论上保证达成共识并朝着共同目标取得进展。在这项工作中，我们首次研究了 DFL 中的提示调整。我们将分散式提示调整制定为基于 Wasserstein 的提示测量优化问题，它捕获了提示的集值结构。然后，我们提出了 D-FROST，一种基于最优传输（基于 OT）的去中心化提示调整算法，该算法通过基于传输的匹配将邻域提示合并为紧凑的代表性提示集。我们通过限制客户端之间的 Wasserstein 共识误差，并建立网络级提示重心与平稳性邻域的收敛来进一步分析 D-FROST。异构客户端数据下的实验证明了 D-FROST 对于去中心化提示调优的有效性。