超越温度：超拟合作为后期几何扩展

最近的工作发现了一种称为“超拟合”的违反直觉的现象，其中 微调 大语言模型 (LLM) 在小数据集上接近零的训练损失令人惊讶地提高了开放式生成质量并减少了贪婪解码中的重复。虽然有效，但其基本机制仍然知之甚少，极低熵的输出分布表明其可能相当于简单的温度缩放。在这项工作中，我们证明了这种现象与分布锐化有着根本的区别。熵匹配控制实验表明，温度缩放无法复制超拟合的多样性增益。此外，我们证伪了静态词汇重新加权的假设，通过消融研究表明，超拟合依赖于动态的、依赖于上下文的排名重新排序机制。逐层分析将此效应定位于最终 Transformer 块中的“终端扩展”，其中特征空间的大幅几何扩展（Delta Dim 约 +80.8）有利于深尾词元的推广。此外，我们还引入了 Late-Stage LoRA，这是一种有针对性的 微调 策略，仅更新最后 5 层，以最少的参数更新产生稳健的生成