论文
AlignFed：异构边缘环境中用于 大语言模型 的对齐感知异步联合 微调
AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments
摘要
大语言模型（LLM）极大地推动了边缘智能的进步，并在自动驾驶、工业检测、个性化物联网服务等多种场景中得到广泛部署。然而，由于严格的数据隐私约束、高度异构的计算和通信资源以及本地数据的非独立同分布（non-IID）性质，LLM在边缘设备上的协作适配仍然面临着巨大的挑战。联合 微调 (FFT) 可以在不暴露原始数据的情况下实现分布式模型的协作优化。然而，传统的同步聚合存在严重的掉队效应，导致系统时延高、资源利用率低。现有的异步联邦学习方法主要针对中小型模型，难以解决 LLM 微调 固有的具体挑战，即陈旧更新导致的模型漂移、数据异构性导致的客户端漂移加剧以及快速客户端占据主导地位导致的聚合公平性失衡。为了解决这些问题，本文提出了 AlignFed，这是一种针对异构边缘环境定制的针对 LLM 的异步联合 微调 框架。 AlignFed采用轻量级多阶段语义对齐机制，包括三个核心模块：版本感知更新分组、基于小批量校准集的跨版本语义对齐以及集成更新新鲜度和客户端参与频率的公平感知聚合。该框架有效缓解跨版本模型漂移和客户端漂移，同时增强聚合公平性，从而在异构性高、更新陈旧性严重的场景下实现稳定高效的异步联邦优化。