语言模型的上下文绑定容量与干扰

在失去对哪个值属于哪个实体的跟踪之前，语言模型可以回忆起多少个分配？我们使用 12 个处于或低于 3B 参数的模型的连续召回曲线以及对 30 个高达 12B 的开放模型的阈值扫描来测量此限制。在连续曲线上，召回率降至初始水平与随机水平中点时的负载遵循 $K_{50}=cN^α$，其中 $α=0.820$ 和 $R^2=0.73$。更广泛的扫描显示了与预训练配方相关的八倍范围，尽管连续曲线在控制规模后没有显示出可检测到的配方效应，而且很少有现代模型适合。我们推导出为什么干扰可以通过减少单结合召回来降低测量容量，即使在负载相关的召回概况不变的情况下也是如此。直接任务训练也超出了推断的零样本定律，但由于测量标准不同，不能把这种对比解释为容量增加。它的形成时间遵循两个独立代码库中的幂律形式，以成功运行为条件。这些结果共同表征了模型查询接口的容量。联合回忆的界限和策略错误的分解将这种测量与工作记忆和指令遵循联系起来，而不把召回视为对齐程度的测量。受控任务还提供了测试绑定限制是否限制世界状态跟踪的基线；目前的实验不测量状态更新或下游传输。