幻影层：用于恢复层修剪的无约束激活对齐 LLM

层剪枝从 大语言模型 中删除整个 Transformer 解码器块，但会在下一个幸存层接收的隐藏状态与其训练处理的分布之间引入不匹配，从而导致性能显着下降。我们提出了 Ghosted Layers，这是一个 无需训练 恢复模块，它通过解决边界激活对齐问题来解决这个问题。我们的方法从一个小的校准集中导出一个封闭形式的最优线性算子，以重建由修剪层引入的激活差异。我们证明该解对应于对齐目标的无约束最优解，而现有方法仅限于有限算子子空间上的约束解。跨多个 LLM 主干和剪枝策略的实验表明，我们的方法相对于先前的 无需训练 基线持续提高了准确性和复杂性，同时保留了层剪枝的效率增益。官方代码存储库：https://github.com/daniel-eai/ghosted_layers_official_repository/。