超越旋转：AuroOFT 用于富有表现力的量化正交 微调

量化正交 微调 (qoft) 通过在冻结量化权重之前学习结构化激活旋转，实现低位语言模型的参数高效适应。然而，其特定于任务的更新仍然受限于线性正交变换，限制了依赖于输入的非线性校正。我们引入了 AuroOFT，它将 qoft 保持为稳定的量化兼容分支，同时将零开始门控低秩非线性残差附加到每个适应的线性层。 AuroOFT 将激活映射到 RMS 归一化紧凑潜在空间中，并使用具有有界或词元相关门控的自适应非线性基。零初始化向上投影使得 AuroOFT 在初始化时在功能上与 qoft 相同，而正交性仍然是分支级稳定性属性，而不是组合非线性层的属性。在匹配数据、优化、解码和解析器协议下，AuroOFT 在 1.5B/3B Qwen2.5 设置上将 Macro-6 的匹配 qoft 提高了 1.30-2.70%，超过 QLoRA 6.52-10.62%，并在代表性尺度上相对于 QLoRA 节省了 32.3-44.7% 的可训练参数。小型考试式多项选择数学集仅被视为协议敏感性诊断。我们的代码可在匿名存储库中找到：https://anonymous.4open.science/r/AuroOFT-F3FD。