低秩LLM中压缩后恢复的功能结构

不同的低秩压缩方法可以产生压缩的LLM，其对相同的压缩后恢复过程的响应不同，并且在压缩终点处观察到的方法之间的相对优势可能会缩小、增长，甚至在恢复后逆转。我们询问这种恢复异质性是否反映了标量损失演化之外的功能结构，以及该结构在整个恢复过程中如何演化。我们的结果表明，这种异质性反映了可重复的压缩引起的功能结构，我们将其形式化为恢复压力。为了在整个恢复过程中一致地表征该结构，我们在每个骨干模型中开发了适用于异构低秩方法的标准化功能表征。主要的后向表征揭示了跨独立探针的可重复的模块结构，而互补的仅前向表征则恢复相关结构，而不会丢失或反向传播。我们进一步发现，在终点测量的恢复压力与随后的恢复响应相关；在恢复期间，其模块结构被非均匀地重组，并且局部更新引起超出直接更新模块的分布式响应。进一步的证据表明，跟踪这种不断演变的结构提供了恢复进度以及标量损失的补充功能视图。