跨模型定点普查可以和不能仲裁什么重复

关于神经文本退化的两种说法并存。一种是在训练数据中找到原因——语料库中的重复会在输出中产生重复，这是通过对重复排序的数据进行训练而建立的——另一种是在经过训练的网络中，在复制电路和重复特征中找到原因。两者都没有在广泛的预训练模型中进行仲裁：因果工作训练自己的模型。我们以不同的货币报告了一个观察测量：模型自己的短窗口 argmax 映射的定点结构，从 17 个现成模型中的 96 个随机双标记开始进行普查，总是无提示的——一篇配套论文显示了 9 个调节标记在其大部分范围内移动了这个读数。四路类别在 17 月 17 日的人口普查种子中保持稳定。三个展品。在固定语料库（The Pile）、固定规模和固定域中，类别是不确定的：在两个大小匹配的层中，pythia 是一个漏斗，而 RWKV、Mamba 和第二个 Transformer 系列则不是，并且两者都在一个数量级的规模上保持其类别。该阶梯中的七个模型中有六个达到了相同的终点标记，而那些最专注于它的模型是那些永远不会停留在那里的模型 - 不同的不是轨迹走向何处，而是目的地是否自我继续。重复数据删除的 Pythia 套件不会更改类。一旦控制了英语和其他三种语言的频率，针对这种现象提出的语料库侧流入项就不会选择我们的端点。这是观察性的，不能反驳训练干预。漏斗很常见：十七个模型中的八个、七个家族、五个语料库——因此限制不是该现象是一个模型的特殊性，而是在一个语料库中可以固定训练数据的只有一个可用的家族漏斗；该子集无法表明分割是独立于语料库的。