多 LLM 系统表现出强大的语义崩溃

机器是否能够创造新颖的内容已经争论了近两个世纪，从洛夫莱斯关于没有引擎可以“创造任何东西”的断言到图灵关于机器是否可以放大从外部引入的想法的问题。多个相互作用的 LLM 系统越来越多地用于自主生成，从经验上重新提出了这个问题。在这里，我们展示了这样的系统，在仅推理设置中运行，表现出语义崩溃：尽管有明显的词汇变化，但语义表示的系统收敛。在各个模型系列中，扩展模拟 200 到 1,000 轮后，该模式保持一致。涵盖解码参数、提示设计、代理组成、激活工程和强化学习的 13 种干预策略未能恢复语义多样性。机制分析表明，语义崩溃不是由对齐或整合偏差来解释的，而是与自回归生成的内在特性一致。我们的结果表明，多 LLM 系统在闭环设置中维持开放式探索的能力受到持续限制。