SOLAR：以子空间潜在适配器重参数化降低模型适配通信成本

LoRA等参数高效微调（PEFT）方法通过低秩适配器支持基础模型的规模化适配，但通信和存储成本仍是资源受限场景的瓶颈。本文提出SOLAR，即面向子空间的潜在适配器重参数化，一种训练后压缩框架，用于减少PEFT适配器需要传输或存储的参数。SOLAR使用基础模型奇异向量及受控随机扰动构造基向量，将每次PEFT更新表示为这些向量的线性组合。方法利用基础模型与任务微调更新之间的子空间相似性、即主方向对齐，使适配器大小不再取决于PEFT结构，并保持紧凑且有表达力的表示。该方法不依赖特定模型，兼容LoRA、AdaLoRA及其他适配器模块。研究从理论上建立了重建误差上界。LLaMA、GPT和ViT的语言与视觉任务实验表明，SOLAR在保留任务表现的同时明显压缩模型更新表示，为分布式系统和边缘设备提供通信高效的部署方案。