LoCA：一次性校准后采用局部信用分配的仅前向LLM调优

参数化后的后训练减少了可训练参数的数量，但仍需要重复的端到端反向传播通过冻结的骨干网络。因此，每次适应步骤都需要后向兼容的硬件，并且必须存储或重新计算激活。我们是否可以将这个重复的后向链路替换为一次性的校准？我们引入了局部信用分配（LoCA），这是一种用于小幅度适应的小模型方法。每个探针反向传播通过在最终预测误差到局部隐藏状态修正之间的低秩映射，然后使用这些映射来形成块级回归目标，并用闭合形式的ridge解法来拟合低秩适配器。无需进一步的骨干网络后向传播。我们在五个判别性基准上评估了LoCA，包括Qwen2.5模型从0.5B到14B。在25个报告的任务—规模比较中的16个里，LoCA评测交叉熵低于对应LoRA运行。其测量的全运行GPU峰值，包括校准，比LoRA低26-29%。在校准后，其CPU稳态内存降低36-52%，每步时间降低43-48%。共享大小标准化候选集被用于所有测试的Qwen2.5大小和SmolLM2-1.7B上。因此，LoCA将全局信用分配转化为一次校准，并允许在重复后向传播不可行时进行后续仅向前调优。此代码与本文相关联，可在\href{https://github.com/Xia12121/LoCA}{这里}找到。