基准阴影：大语言模型 中的数据对齐、参数足迹和泛化

大语言模型 通常会在基准测试中取得强劲的成绩，但在更广泛的功能方面却没有相应的改进。我们假设这种差异是由数据分布引起的训练制度的差异引起的。为了研究这一点，我们设计了受控数据干预措施，以隔离固定训练设置下的分布效应。我们发现，基准对齐的数据改善了狭窄的评估指标，同时限制了更广泛的代表性发展，而覆盖范围扩大的数据导致了更多的分布式参数适应和更好的泛化。我们进一步引入基于谱和秩分析的参数空间诊断，它揭示了这些状态的独特结构特征。在不同的开源模型系列中观察到类似的模式，包括作为关键案例研究的多模式模型，这表明这些影响超出了受控设置。关于即时重复的案例研究表明，并非所有数据工件都会导致政权转变。这些结果表明，仅靠基准性能不足以表征模型能力，并凸显了数据分布在塑造学习动态方面的重要性。