LILA：通过潜在谱几何对 大语言模型 进行免校准结构化修剪

大语言模型（LLM）的结构化剪枝提供了硬件高效的压缩，但现有方法在剪枝时需要校准数据、梯度计算或大型辅助策略网络。 LILA（\emph{潜在知情层分析}）通过完整和神经元消融前馈网络（FFN）权重矩阵的经验奇异值分布之间的 Kolmogorov--Smirnov（KS）距离对神经元重要性进行评分，提供不需要训练、校准数据或辅助网络的封闭形式谱规则。在没有任何 微调 的情况下，LILA 在稀疏度为 25% 的 LLaMA-2-7B 上的零样本精度超过 PruneNet（45M 参数 RL 策略）1.57~pp，并且在所有稀疏度级别上超过 WikiText-2 校准的 SliceGPT 高达 6.0~pp，同时保留原始架构。经过一个时期的 LoRA 恢复 微调 后，LILA 实现了极具竞争力的性能，尽管使用零校准数据，但在 LLaMA-2-7B 和 Phi-2 上将经过严格校准的 SliceGPT 基线匹配到 0.48~pp 的裕度范围内。神经切线核分析证实，与随机修剪相比，功能失真减少了 22$\times$，为谱重要性标准提供了理论基础。最后，扩展 LILA 以通过 KS 分数动态分配稀疏预算，在中等压缩下产生最先进的生成保留，同时在较高压缩状态下发现基本的单层架构瓶颈。