Echo-LoRA：通过跨层表示注入实现参数高效的 微调

参数高效的 微调 (PEFT) 已成为使 大语言模型 适应下游任务的实用途径，LoRA 风格的方法特别有吸引力，因为它们训练成本低且易于部署。然而，大多数 LoRA 变体都会修改每层权重空间内的更新规则，并留下大部分未使用的更深层形成的中间表示。我们提出了 Echo-LoRA，一种用于参数高效 微调 的跨层表示注入方法。在训练过程中，Echo-LoRA 从更深的源层收集边界隐藏状态，将它们聚合成样本级回声表示，并使用轻量级投影和门控网络将结果信号注入浅层 LoRA 或 DoRA 模块。仅应答掩码、掩码 蒸馏 和随机路由用于保持该辅助路径稳定并减少训练和推理之间的差距。在八个常识推理基准测试中，Echo-LoRA 在 LLaMA-7B、LLaMA2-7B 和 LLaMA3-8B 中平均超出报告的 LoRA 基线 5.7 个百分点。在我们统一实施中重现的 LoRA 基线下，平均增益为 3.0 点；与DoRA结合使用时，增益为2.7点。 Echo 路径在训练后被丢弃，因此部署的模型保留了原始的低秩 LoRA/DoRA 形式，并且既不添加推理时间参数，也不添加推理计算。