论文

能力收敛假说:能力来自访问结构而非规模

The Capability Convergence Hypothesis: Capability from Access Structure, Not Scale

模型架构混合架构

摘要

柏拉图表示假说(PRH)认为随模型扩展,异构网络的表示收敛于共享的现实模型。我们提出其续篇与边界——能力收敛假说(CCH):在固定逐token推理预算下,表示收敛不蕴含能力收敛。能力转而收敛于一个类——访问完全混合体:任何同时持有压缩O(1)状态通道与可扩展逐字索引通道的架构。我们以见证任务锚定它——无限流中的“牛顿苹果”问题——并命名三堵资源墙:禁止任何o(N_b)状态架构的香农墙、禁止任何固定窗口的地平线墙、以及禁止固定深度仅注意力组合的电路墙(以TC0≠NC¹为条件)。在显式可分离性假设下,混合体通过支付每堵墙的价格跨越全部三堵——能力在组合下严格超加性。我们区分所证明与所猜想者:访问完备性原则 rests 在信息论下界与预注册实验上,而领域级收敛趋势是经济学动机的猜想。我们报告在数据冻结前标准下完成的首批预注册小规模测试:预测的剪刀差被测得(精确检索误差0.994对0.000——一旦64标量状态获得一层全局注意力)、状态追踪分岔落在注册边界、合取见证显示不可约的双通道解;一个预测失败且方向反转,如实报告。表示收敛由规模免费给出;能力收敛必须由访问结构购买。

能力收敛假说:能力来自访问结构而非规模:论文配图
图 3:Transformer 和 SSM 作为一个通道容量谱的两端(假设 1):压缩端的 SSM(B=O⁡(1)B=O(1),有损)、近无损端的 Transformer(B=θ⁡(L)B=\Theta(L))以及混合工作点 B=θ⁡(ρ​L)B=\Theta(\rho L) 相遇这两项任务都需要降低可用内存系数 (ρ≪1\rho\ll 1),而不是较小的增长级别(命题 4)。