Thermo-FL：用于边缘 AI 的 大语言模型 的热感知鲁棒联合 微调

联合 微调 使 大语言模型 能够适应边缘设备，而无需集中私有数据，但实际部署必须同时解决硬件不稳定和对抗性更新损坏问题。受热限制的客户端可能会限制、减慢本地训练或延迟同步聚合，而拜占庭客户端和通信层对手可能会破坏用于形成全局模型的更新。为了应对这些挑战，我们推出了 Thermo-FL，这是一种热感知联合 LoRA 微调 框架，它使用设备温度作为本地适配器训练和稀疏更新传输的主动控制信号。在客户端，Thermo-FL 在设备加热或冷却时调整活动 LoRA 层分数和传输的更新密度，从而减少热应力下的工作负载。在服务器端，Thermo-FL 引入了 TERRA，这是一个用于动态稀疏 LoRA 更新的强大聚合管道，它结合了范数过滤、掩模感知方向验证、自适应主动坐标裁剪和掩模感知聚合。我们使用大型模拟器和基于 Jetson 的物理测试台来评估 Thermo-FL。在模拟器中，Thermo-FL 提高了对抗性稀疏聚合下的鲁棒性，并在干净和攻击设置中实现了最强的 BoolQ 准确性，同时在 GSM8K 上保持竞争力。在物理原型中，Thermo-FL 稳定了设备温度，通过位图稀疏编码减少压缩上传大小，并在符号翻转/缩放和 MITM 扰动下保留 GSM8K 实用性。这些结果表明，安全边缘 LLM 适应应共同考虑硬件行为、工作负载调节、稀疏通信和聚合鲁棒性。