Transformer 可以生成多少种不同的输出？

我们研究如何利用 Transformer 架构的少数特征来精确预测其可以输出的不同序列的数量，无论是定性还是定量。我们根据提示的长度提供了一个上限，我们根据经验表明，在不同的架构和模型大小中，上限都小于 10。我们的分析还为之前观察到的 Transformer 在简单序列任务（例如复制和临时抱佛脚）上的经验失败提供了理论解释。形式上，我们证明了（i）可访问序列的最大长度（Transformer 可以为某些提示输出的序列）随提示长度线性增长，（ii）超过临界阈值，可访问序列的比例随序列长度呈指数衰减，以及（iii）将提示长度与可访问序列长度相关的线性系数承认理论上限。值得注意的是，即使上下文和计算时间不受限制，这些结果也仍然成立。