微调 Transformer 的低秩三元自适应

三元 Transformer 提供极高的内存和计算效率，但现有的基于 LoRA 的低位方法无法直接微调三元权重。当前的方法要么需要反量化，将低位基本权重恢复到更高的精度以与自适应权重合并，要么只更新量化参数，防止合并模型保持三元。我们提出了三元乘法适应，它表示三元权重的离散更新，例如通过低秩克罗内克分解成两个小三元矩阵的符号翻转或归零，并逐元素应用于三元权重。该设计参数高效且富有表现力，保留三元域，并支持直接合并而无需反量化。对跨语言和视觉的六个模型（包括三元化 LLaMA-3 1B 和 3B 以及三元 ViT-B/16）进行的实验表明，我们的方法恢复了量化损失的大部分性能，并且优于强大的低位和三元基线。代码可在 https://github.com/alexmanoo/ternary_adaptation 获取。