LARA：残余流中的轻量级适配器，用于可组合的适应和对齐

我们提出了 LARA（轻量级累加残差自适应），这是一种有效的自适应方法，它在冻结模型的残差流中而不是在其权重中运行。 LoRA 将低秩更新添加到权重矩阵，而 LARA 读取一小部分层的隐藏状态，并将低秩校正添加回残差流，使所有基本权重保持不变。在代码 微调 任务和偏好优化 (DPO) 上，LARA 在相同的参数计数下与 LoRA 匹配。因为适应是一个冻结的基础加上一个残差，所以 LARA 公开了一个在推理时应用的尺度 γ，它可以在基础行为和适应行为之间平滑地插值，这是权重空间中的适应所不提供的一种分级控制形式。最后，由于每个行为都是共享冻结基础上的一个小的残留模块，因此许多行为可以立即驻留并根据词元自动路由。我们在一个冻结的 1.5B 模型上放置了 7 种行为，其中 6 种是经过微调的，1 种是根据偏好进行优化的，大约有 33 MB 的开销，而每种行为都有一个完整的模型。由于基础未受影响，因此行为是单独训练的，并根据词元进行选择，而不是按需加载，这适合在设备上的单个模型上托管许多行为并添加新行为。