输入通路在微小 Transformer 中形成少样本、非零样本结合：一项完全可枚举的研究

信息到达 Transformer 的方式——作为符号词元、干净的每因子“oracle”代码或纠缠的感知向量——如何决定它是否以组合方式绑定该信息？我们在有限因子世界上详尽地研究了约 6-10K 参数 Transformer，因此每次测量都覆盖整个输入空间（零采样方差），并且信息路径是信息匹配的（精确的贝叶斯上限 1.0）。我们报告了四项发现。 (1) 端点不变性：在保留的绑定查询上，没有信息路径达到收敛的零样本组合——尽管上限为 1.0，但每个路径都以机会或低于机会结束，因此在有界扫描内，失败反映了查找充分目标下的归纳偏差，而不是丢失信息。 (2) 少样本结合的双因素解释：样本效率最好通过输入路径参数共享和代码可读性来解释；维度匹配控制和分级可读性扫描将可读性与输入维度隔离开来，而干净的预言机并不是最高效的样本可读途径。 (3) 双重分离：在训练早期，分布式代码（但不是类似索引的代码）会经历一个短暂的高于机会阶段（跟踪代码格式），而少样本效率则跟踪路径共享。 (4)故障剖析：符号路线在读出时失去答案；索引路由错误绑定（答案保持可解码，但输入干预显示输出跟踪错误的槽）；纠缠的路由继承了它们输入的可读性。核心主张是双因素账户；终点和解剖结果是诊断的限制。所有代码、清单和每个种子日志均已发布，以便准确复制。