寡头几乎不主导多模型生态中的模型坍塌

人工智能生成的文本正在回流到下一代模型的训练语料库中。对它的递归训练会导致模型崩溃，而最近的工作将这一设置扩展到许多相互喂养的模型——但几乎总是市场平分秋色，而真正的生成人工智能是寡头垄断。集中化引发了两个担忧：更少、更统一的来源可能会使崩溃更快，而后来的模型可能会被拖向寡头的产出。我们在受控生态系统中测试这两种模型：13 个开放的 1--4B 模型形成 3 到 13 个参与者的自然生态系统，加上一个注入探针，将最高份额推至 90%；每一代，每个模型的输出都按市场份额混合到一个共享池中，并且每个模型都在该池上从干净的基础权重中重新训练，持续五代。然而，在我们测试的范围内，这两种担忧都没有成为现实。相反出现的是不变性。使分裂更加不平等几乎不会改变崩溃的速度。目的地的移动甚至更小：共享和身份旋钮仅将五代端点的移动量仅为所有分支共同漂移的百分之几——生态系统崩溃到几乎相同的位置。极端的份额与最强的注入偏差相结合仍然不能保证方向，而且它确实产生的话题转移只会在衡量崩溃的标尺上留下微弱的痕迹。决定速度的是谁提供池以及这些供应商的接受程度：在每个份额固定的情况下，交换 K=3 生态系统的成员会使五代漂移改变 2.8 倍；每个成员敏感性的份额加权指数解释了 19 个臂之间的速度差异，其中 R^2 = 0.68；用人类文本替换一半的池子可以在不改变其路线的情况下大致将漂移减半。在测试范围内，浓度既不会决定崩溃的目的地，也不会决定崩溃的速度；步伐跟随谁的文字填满池子。