论文

LARC:用于冻结模型学习的低秩自适应残差连接

LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models

模型训练参数高效训练

摘要

低秩自适应残差连接 (LARC) 为冻结模型提供了可以从反馈中学习的紧凑数值状态。映射 $h+BAh$ 向隐藏表示添加了低秩校正。慢速状态 $ρ$ 学习跨任务的起始因素;私有快速状态 $Φ$ 复制它们,根据反馈进行更改,然后重置为经过训练的初始化。该报告详细说明了记忆介导学习架构中数值策略载体的输入端实现,并检查了其因子空间动态和学习寿命。我们在冻结 MiniCPM5-1B-SFT 基底上研究具有 12,288 个可训练参数的 4 阶输入残差。在四候选程序选择任务中,相对于重置为各自训练的静态和适应后初始化,两个反馈梯度步骤将预期查询执行误差减少了 24.65 和 36.65 个百分点。这些开发结果涵盖 16 个参数组和三对训练种子。直接支持损失选择规则要准确得多,误差达到 0.78125%。在公共持续集成作业的存储库平衡时间顺序重播中,保留在线更新会将 half Brier 损失从 0.1274 提高到 0.1808。固定的后续干预记录了同批次的非下降和不一致的未来受益于收缩更新。代数和测量一起区分剩余容量、相对于起点的适应以及对后续决策的有用性。