标志击败浮动：设备上的低秩双二进制适应 微调

大语言模型 的设备上适配通常会在训练和部署小型、特定于任务的 LoRA 适配器时保持量化基础模型冻结。然而，在未合并的适配器模式设置中，适配器不仅仅是一个紧凑的存储模块；它引入了一个额外的密集浮点分支，维护本地更新的可训练状态，并充当通信和热插拔的单元。我们引入了 LoRDBA，一种与 LoRA 兼容的适配器，它用二进制符号载波替换低秩因子，同时通过轻量级、通道级尺度表示幅度，将密集适配器分支转换为两个与通道级缩放交错的符号累加矩阵乘法。有限样本分析表明，重建质量由原始 LoRA 因子的残差与幅度比决定。在适配器模式实验中，LoRDBA 在匹配的模型大小下优于低位基线，同时在选定的方案中匹配 fp16 LoRA 质量。尽管适配器占用空间减少了 10 倍以上，但未合并的适配器在匹配的等级 r=16 时最多会产生 8% 的预填充延迟开销，并且中等训练内存开销约为 fp16 LoRA 的 1.6 倍。