用于联合参数高效的三管齐下频谱控制 微调

联合参数高效 微调 (PEFT) 能够在分散的边缘数据上实现大型预训练模型的通信高效适应，但在非 IID 客户端异构性下仍然脆弱。在低秩适应（LoRA）中，不同的客户端可能会学习局部有用但频谱不对齐的更新子空间，导致高方差聚合和较差的全局传输。我们提出 TRISHUL，一种用于稳健的联邦 PEFT 的光谱控制框架。 TRISHUL 遵循 FL 无原始数据共享设置，但本身不提供正式的隐私保证。 TRISHUL 使用共享的冻结多头低秩基来获得紧凑核心更新的代数精确聚合，在上传之前应用核范数近端收缩来抑制客户端特定的高秩频谱分量，并使用从预训练层容量导出的凹水填充预算规则在各层之间非均匀地分配适应头。由于收缩仅在小型核心矩阵上执行，因此 TRISHUL 增加的计算量可以忽略不计，并且在底层多头 PEFT 协议上没有额外的每轮通信。在视觉和语言基准测试中，包括 CIFAR-100、SVHN、20 Newsgroups、MRQA 和 LLaMA3.2-1B 的 GLUE，TRISHUL 相对于联合 LoRA 基线提高了收敛性、稳定性和最终性能，在更强的异质性下获得了更大的收益。