超越参数聚合：LLM 的联合 微调 的语义共识

大语言模型 的联合 微调 通常被表述为参数聚合问题。然而，即使是参数高效的方法也需要传输大量可训练权重，假设对齐的架构，并依赖于对模型参数的白盒访问。随着模型规模的不断增长和部署变得越来越异构，这些假设逐渐与实际约束不一致。我们考虑另一种方案，其中协作是通过模型行为而不是参数来调节的。客户端根据私有数据微调本地模型，并在共享的公共提示集上交换生成的输出。服务器将这些输出映射到语义表示空间，形成每个提示的语义共识，并返回进一步本地 微调 的伪标签。该公式从根本上改变了联合 LLM 微调 的通信扩展。交换的信息量仅取决于公共即时预算和沟通行为的规模，与模型大小无关。因此，该协议自然地适应异构架构并直接应用于开放式文本生成。我们提出的理论分析和实证结果表明，这种方法可以匹配强大的联合 微调 基线，同时大幅减少通信量（例如，对于 Llama3.1-405B，分析减少 1006 美元），并减少运行时间和能耗。这些结果表明，对于生成基础模型，行为级共识为联合适应提供了比参数聚合更合适的抽象。