长上下文建模的不可能三角

我们确定并证明了控制长序列模型的基本权衡：没有模型可以同时实现（i）独立于序列长度的每步计算（效率），（ii）独立于序列长度的状态大小（紧凑性），以及（iii）召回与序列长度成比例的许多历史事实的能力（召回）。我们在在线序列处理器抽象中形式化了这种权衡，该抽象统一了 Transformer、状态空间模型、线性循环网络及其混合。利用数据处理不等式和 Fano 不等式，我们证明任何满足效率和紧凑性的模型都可以从任意长度的序列中召回最多 O(poly(d)/log V) 个键值对，其中 d 是模型维度，V 是词汇量大小。我们将 2026 年 3 月之前发布的 52 个架构分类为三角形，表明每个架构最多实现三个属性中的两个，并且混合架构在内部追踪连续的轨迹。使用五种代表性架构对综合联想回忆任务进行的实验验证了理论界限：经验回忆能力严格低于信息理论极限，并且没有任何架构能够逃脱三角形。