论文
FedACT：数据异构下稳健 Transformer 训练的联邦自适应协调信任调制
FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity
摘要
联合 Transformer 训练越来越依赖于本地 AdamW，其自适应更新可以提供比基于 SGD 的训练更强的本地进度。然而，在异构客户端数据下，即使全局校正的 AdamW 更新在坐标方面的可靠性也可能仍然高度不均匀。我们将这种现象称为协调信任失配。现有的联合自适应优化器主要解决客户端更新或通信轮级别的不匹配问题，但仍然跨坐标密集且均匀地应用校正后的自适应方向。在本文中，我们提出了 FedACT，一种用于联合 AdamW 训练的全局感知协调信任调制方法。 FedACT 首先形成全局校正的自适应方向，然后根据坐标信任评分重新分配更新幅度，为局部梯度和全局校正共同支持的坐标分配较大的步长，同时在剩余坐标上保留较小的非零更新。对联合视觉 Transformer、CNN、LLM 预训练 和 LLM 微调 进行的大量实验表明，FedACT 在强联合自适应基线上持续改进，在更强的数据异质性下，Transformer 模型的增益最大。机制分析进一步表明，FedACT 提高了跨客户端方向的一致性，表明协调级别的信任分配有效地补充了回合级别的全局本地校正。代码将被发布。