论文

形式化 LoRA 引起的 logits 转变:技术说明

Formalising the Logit Shift Induced by LoRA: A Technical Note

模型评测模型行为与机制分析

摘要

本技术说明提供了低秩适应 (LoRA) 引起的 logits 偏移和事实裕度变化的一阶形式化。使用围绕基本模型轨迹的一阶 Fréchet 近似,我们表明多层 LoRA 效应可以分解为层贡献的线性求和和表示层间耦合的高阶余数项。