EdgeFlowerTune：在现实边缘系统约束下评估联合 LLM 微调

联合 微调 提供了一种有前途的范例，通过利用智能手机和物联网设备丰富、多样且持续生成的数据，在边缘设备上适应 大语言模型 (LLM)，而不损害用户数据隐私。这种边缘侧适应可以提高模型的个性化、鲁棒性和对本地环境的响应能力。然而，联合 LLM 微调 在真实边缘设备上的实际可行性仍不清楚，因为大多数现有工作侧重于跨孤岛或基于模拟的设置，忽略了决定方法是否可部署在真实边缘系统上的资源和运行时约束。我们提出了 EdgeFlowerTune，这是一个面向部署的基准，适用于实际边缘系统约束下的联合 LLM 微调。 EdgeFlowerTune 联合评估模型质量和系统成本，包括通信、挂钟延迟、内存使用、能耗和动态边缘条件的鲁棒性。为了比较方法的有效性、效率和稳健性，EdgeFlowerTune 引入了三个互补协议：预算内质量、目标成本和稳健性。我们将 EdgeFlowerTune 实例化为基于 Flower 和 MobileFineTuner 构建的真实设备平台，涵盖商用 Android 智能手机和 NVIDIA 边缘开发板。我们的基准测试结果表明，仅考虑准确性的评估可能会导致误导性的结论：一旦考虑到实际的系统约束，具有相似最终质量的方法在可部署性方面可能会存在很大差异。 EdgeFlowerTune 为边缘联合 LLM 微调 的系统感知评估提供了可重复的基准。