长语境语言模型中作为极值注意力干扰的语境中毒

大型语言模型可以处理越来越长的提示，但它们定位和使用决定性证据的能力可能会随着不相关或令人困惑的上下文的添加而降低。我们将这种称为情境中毒的现象表述为注意力的极值干扰：决定性证据分数是有上限的，而有效干扰因素的最大分数随着其数量的增加而增长。在softmax检索抽象下，我们得出了一个有限样本上限，表明维持高于基本率的固定精度目标需要证据边际缩放为$\Omega(\sqrt{\log N})$，其中N表示有效干扰项计数，而不一定是原始上下文长度。该分析将长上下文退化与分数混叠、位置混叠和 softmax 稀释联系起来。对照实验表明，在存在嵌入的硬负片的情况下，随着总上下文的增长，检索准确性会降低，相同格式的条件在固定上下文长度的测试干扰结构中产生最大的观察到的准确性下降，并且检索门控可以改善证据的使用，而其净收益取决于保留证据召回。这些结果激发了证据瓶颈、抗别名表示、检索然后推理架构、验证者介导的记忆和对比抗毒训练。