论预训练在弱到强泛化中的加持

弱到强泛化（W2SG）的范式表明，预训练的强模型可以超越其弱监督器，但 预训练 的决定性作用在理论上和实证上仍然没有得到充分探索。在这项工作中，我们将 预训练 确定为 W2SG 出现的必要先决条件。理论上，我们使用尖峰高斯数据在高维单指数模型框架内形式化 W2SG 问题，将 预训练 建模为谱初始化步骤。基于先前关于随机初始化下学习失败的不可能性结果，我们证明当 预训练 提供几何热启动，将模型置于以扰动强凸几何为特征的“有效区域”内时，W2SG 是可以实现的。在这个区域内，我们得出了一个严格的泛化界限，自然地捕获了优化动态：初始性能改进，随后是由弱监督者偏差决定的饱和瓶颈。根据经验，我们首先通过受控合成模拟验证我们所有的假设和理论见解。最后，通过对 大语言模型 的数百个中间 预训练 检查点进行大规模评估，我们证明 W2SG 不是一种天生的能力，而是通过与 预训练 的进展紧密耦合的相变而出现。