论文

集体智能何时是一场抽奖?LLM模因漂移的多智能体缩放定律

When Is Collective Intelligence a Lottery? Multi-Agent Scaling Laws for Memetic Drift in LLMs

模型评测模型行为与机制分析

摘要

由大语言模型(LLM)驱动的多智能体系统正日益被部署在直接或间接影响重大决策的场景中。然而,其结果究竟反映集体推理、系统性偏差,还是纯粹的偶然,仍不清楚。近期工作借助命名游戏(naming games)使这一问题更加尖锐:即使没有任何个体智能体先验地偏好任一标签,群体也会迅速打破对称并达成共识。在此,我们通过引入一个极简模型——量化单纯形流言(Quantized Simplex Gossip, QSG)——揭示其机制,并将这种共识的微观起源追溯到相互的上下文学习(in-context learning)。在QSG中,智能体维护内部信念状态,但从彼此的采样输出中学习,因此一个智能体的任意选择会成为下一个智能体的证据,并可能滚雪球般趋向一致。类比中性演化,我们称这种采样驱动的状态为模因漂移(memetic drift)。QSG预测存在一个从漂移主导状态(共识实际上是一场抽奖)到选择状态(微弱偏差被放大并塑造结果)的交叉转变。我们推导了漂移导致的极化作为种群规模、通信带宽、上下文适应速率与智能体内部不确定性之函数的缩放定律,并在QSG模拟与LLM群体的命名游戏实验中对其加以验证。总而言之,这些结果为研究多智能体系统中社会表征形成的集体机制提供了一个框架。

集体智能何时是一场抽奖?LLM模因漂移的多智能体缩放定律:论文配图
(a) 平均协调。(b) 代表性轨迹。(c) 获胜者条件单纯形路径。图 1:LLM 命名游戏中的对称性破缺(GPT-4o,N=24N=24,K=3K=3)。 (a) 试验间的平均协调性 (95% CI)。 (b) 来自三项试验的代表性标签频率轨迹,每个试验对应一个最终获胜者。 (c) 以最终获胜标签为条件的平均单纯形轨迹。