贝叶斯视角关于认知不确定性对情境学习中延迟泛化的作用

上下文学习使 Transformer 能够在推理时从几个例子中适应新任务，而 grokking 强调这种泛化只有在长时间的训练后才能突然出现。我们使用贝叶斯视角研究情境学习中的任务泛化和摸索，探究是什么导致了从记忆到泛化的延迟过渡。具体来说，我们考虑模块化算术任务，其中 Transformer 必须仅从上下文示例中推断出潜在线性函数，并分析预测不确定性在训练过程中如何演变。我们结合近似贝叶斯技术来估计后验分布，并研究不确定性在训练过程中以及在任务多样性、上下文长度和上下文噪声变化下的表现。我们发现，当模型摸索时，认知不确定性急剧崩溃，使不确定性成为 Transformer 中实用的无标签泛化诊断。此外，我们通过简化的贝叶斯线性模型提供了理论支持，表明延迟泛化和不确定性峰值都渐近地产生于相同的底层谱机制，该机制将摸索时间与不确定性动态联系起来。